Așadar, cum funcționează un GPT? Acesta constituie, în fond, un model de limbaj specific, alcătuit dintr-o „rețea neuronală“ – un sistem computațional ce se inspiră și este proiectat să funcționeze ca și circuitele de neuroni pe care le creează natura. Rețeaua neuronală (neural network) reprezintă un set de algoritmi programat să recunoască anumite tipare în texte, cifre, imagini, sunete etc., așa cum le-ar recunoaște și creierul uman. Sistemul este instruit în prealabil (pre-trained) nu numai să recunoască aceste tipare – cum ar fi, de pildă, modelele de exprimare –, ci și să le grupeze și să le clasifice.
Susține și tu o instituție de presă liberă! Donația ta va contribui la susținerea activității noastre prin care informăm societatea echidistant și corect. Ajută-ne să promovăm adevărul, dreptatea și libertatea.
SUSȚINEGruparea se face în funcție de similaritățile între datele „neetichetate“ (altfel spus: cu valori de ieșire necunoscute), iar clasificarea, pe baza unui set de date „etichetat“ (adică invers: cu valori de ieșire cunoscute). Mai simplu: datele „neetichetate“ sunt acelea despre care mașina nu știe dacă sunt, de exemplu, adevărate sau false, utile sau inutile, relevante sau irelevante ș.a.m.d. Pe când cele „etichetate“ funcționează asemeni filtrelor din poșta electronică, care disociază un mesaj spam de un mesaj obișnuit. Prin urmare, cu cât mai numeroase și mai exacte sunt „etichetele“ (labels), cu atât datele se clasifică și se folosesc mai bine. Dincolo de asta, rețelele neuronale de azi sunt în stare să extragă dintr-un set de date trăsături pe care le furnizează concomitent mai multor algoritmi pentru aceleași operațiuni de grupare și clasificare, astfel adâncind învățarea de către mașină a mecanismelor de asociere și disociere în cadrul așa-numitelor „modele mari de limbaj“ (Large Language Models sau LLM, un alt nume pentru GPT).
Datele „neetichetate“ sunt la fel de importante ca și cele „etichetate“: cu cât mai mare este cantitatea de informație brută pe care o asimilează mașina, cu atât mai capabili sunt algoritmii „antrenați“ pe volume mari de date să producă, în final, clasificări exacte. De pildă, dacă un algoritm detectează într-o cantitate de date același gen de anomalii sau alte abateri neobișnuite, el le poate considera drept false sau chiar frauduloase. Prin urmare, cu cât mai multe date și, respectiv, anomalii vede algoritmul în ceea ce a asimilat deja, cu atât mai reușit va detecta acesta un fals în datele pe care abia urmează să le analizeze.
Așadar, omul își transferă cunoașterea către setul de date, pentru ca rețeaua neuronală să poată corela mai departe datele și etichetele. Un exemplu de corelație elementar ar fi, ca să ne mai descrețim un pic frunțile: „frații Tate“=„băieți răi“/ „fraudă“; pe când o corelație complexă, produsă de „învățarea profundă“ (deep learning), ar fi cea care se stabilește, de pildă, între pixelii dintr-o imagine și identitatea (numele) persoanei înfățișate în această imagine. Procesul de transfer al cunoașterii se numește „învățare supravegheată“ (supervised learning) – cu ajutorul ei, rețeaua se deprinde, în timp, să deosebească nu numai persoanele din fotografii, ci și expresiile lor emoționale, ori să recunoască gesturile mecanice din clipurile video și sentimentele exprimate într-o înregistrare audio etc.
Esențial în toată afacerea asta cu GPT/LLM este deep learning-ul, adică generarea unor rețele stratificate sau „stivuite“, în jargon IT (stacked neural networks). Fiecare strat e alcătuit din „noduri“, elementele-cheie ale oricărei rețele. Într-un „nod“, intrarea de date se asociază cu un set de coeficienți, numiți „ponderi“, care atribuie o semnificație intrărilor în funcție de ceea ce algoritmul încearcă să învețe. „Ponderii“ conferă, cu alte cuvinte, o valoare (alias „greutate“) datelor, ierarhizându-le: dacă un anumit set de date însumează cea mai mare valoare, este foarte probabil că mașina le va considera anume pe acestea ca fiind fără greș, activând astfel „nodul“. [Un fenomen similar, zic inginerii IA, are loc și în neuronii vii, a căror activitate depinde de stimuli și care creează sinapse ce ne plămădesc și ne consolidează memoria, dar și discernământul. De aici, concluzia că rețelele neuronale artificiale le-ar imita pe cele biologice.] În rețelele de învățare profundă, „nodurile“ (un fel de unități de bază ale „adevărului“ așa cum îl vede mașina) interacționează între ele, nodurile mai noi agregând și recombinând trăsăturile, asemănările etc. pe care le recunosc ca adevărate nodurile anterioare. Astfel, se ajunge la un grad din ce în ce mai înalt de abstractizare a cunoașterii robotizate, dar procesul formalizării nu este nici pe departe unul simplificator. Mai mult: pe măsura învățării, el devine și mai complex, întrucât, odată lansați, algoritmii învață singuri și se dezvoltă independent de voința programatorului care le-a dat naștere.
Pentru noi, muritorii de rând, partea cea mai interesantă în „modele mari de limbaj“ nu este atât capacitatea lor de a învăța, de a grupa și de a clasifica date, cât aceea de a le genera. Căci nu degeaba se numesc și GPT, adică Generative Pretrained Transformers. Pornind de la tiparele pe care le recunoaște și le asimilează, alegându-le pe cele mai apropiate de realitatea limbajului uman și mai și învățând să le coreleze între ele, un chatbot precum e cel creat de OpenAI sub aripa Google e capabil să producă un text mai mult sau mai puțin coerent și rațional la solicitarea oricărui curios. Întrebările conțin ele însele tipare pentru răspunsuri, ceea ce ușurează efortul de căutare a celui mai bun răspuns din partea mașinii în temeiul datelor deja analizate și ierarhizate de ea, răspuns realizat prin inserarea celor mai frecvente, statistic vorbind, cuvinte, îmbinări, exemple generice și propoziții în contexte similare sau identice. Oricât de bogată ar fi memoria și creativitatea umană, e greu de imaginat întrebări pe care să nu le fi pus nimeni până la noi. Iar dacă acestea apar, ele țin, de regulă, de domeniul absurdului, neantului sau spiritului rafinat: ilogicul, inexistentul și ironia subtilă depășesc inteligența oricărui GPT/LLM actual.
În afară de răspunsuri care decurg din asimilarea și analiza tuturor textelor pe care le-a „citit“ în Internet, sistemul computațional de tipul GPT/LLM poate genera și predicții (de exemplu, prognoze economice, pe baza unor modele și legități confirmate în decursul timpului), dar poate genera și cod, adică poate programa și crea site-uri, aplicații etc. plecând de la modelele asimilate și ajustate în funcție de solicitări – o sarcină poate chiar mai simplă pentru el decât să compună un sonet în maniera lui Shakespeare.
Am prezentat cât am putut de succint și doar în măsura în care l-am înțeles, modul în care e conceput și în care funcționează un GPT/LLM. Firește, ele este mult mai complicat de atât și numai inginerii care l-au creat l-ar putea prezenta în adevărata lui splendoare. Am insistat însă asupra aspectului tehnic, întrucât toate beneficiile, ca și toate daunele reale sau potențiale ale IA (întruchipată în prezent de GPT4, de chatbot-ul Bing-Microsoft etc.) rezultă anume din felul specific în care aceasta se dezvoltă, deseori prin autoperfecționare.
va urma
În cazul în care ai ajuns să citești acest text, înseamnă că subiectul reflectat te-a interesat. Site-ul „gazetadechisinau.md” publică articole care reflectă un spectru larg de probleme, scrise profesionist și echidistant de editorialiști și jurnaliști cu experiență. „Gazeta de Chisinau” este o sursă de informare credibilă pe piața mediatică din Republica Moldova. Nu o lăsa să dispară! Contribuie la menținerea unei publicații libere. Acum poți face și tu o donație.
SUSȚINE