Cum "gândirea" ajută modelele AI să-și amintească mai bine ce știu deja

Cercetătorii de la Google Research au publicat o analiză care investighează un aspect mai puțin discutat al modelelor lingvistice mari (LLM): capacitatea lor de a-și "aminti" corect informații pe care le-au învățat deja în timpul antrenamentului. Concluzia principală a studiului este că mecanismele de raționament, cunoscute sub numele de "chain-of-thought" sau gândire pas cu pas, joacă un rol esențial în extragerea acestor cunoștințe latente, denumite cunoștințe parametrice.

Ce înseamnă cunoștințe parametrice

Potrivit Google Research, un model lingvistic mare nu stochează informațiile sub forma unei baze de date clasice, ci le codifică sub formă de tipare statistice distribuite în miliarde de parametri. Aceasta face ca accesarea unei informații corecte să nu fie întotdeauna un proces direct, chiar dacă modelul a "văzut" acea informație de nenumărate ori în timpul antrenamentului. Cu alte cuvinte, faptul că un model deține o cunoștință nu garantează că o va folosi corect atunci când i se pune o întrebare.

Rolul raționamentului explicit

Studiul arată că atunci când modelelor li se cere să parcurgă un proces explicit de raționament înainte de a oferi un răspuns, acestea reușesc să recupereze mai eficient informațiile corecte stocate în parametrii lor. Practic, etapele intermediare de gândire funcționează ca un fel de ghid intern, care ajută modelul să navigheze prin spațiul vast de cunoștințe și să ajungă la răspunsul potrivit, în locul unor asocieri superficiale sau greșite.

Cercetătorii subliniază, potrivit sursei citate, că acest fenomen sugerează o legătură strânsă între capacitatea de raționament și acuratețea factuală a modelelor. Cu alte cuvinte, îmbunătățirea abilităților de raționament nu servește doar la rezolvarea unor probleme logice complexe, ci contribuie direct și la reducerea erorilor factuale, un aspect adesea numit "halucinație" în domeniul inteligenței artificiale.

Implicații pentru dezvoltarea viitoare a AI

Concluziile acestui studiu pot influența modul în care companiile de tehnologie proiectează viitoarele generații de modele lingvistice. Dacă raționamentul pas cu pas ajută la o mai bună utilizare a cunoștințelor deja existente, echipele de cercetare ar putea prioritiza antrenarea modelelor să "gândească" mai mult înainte de a răspunde, în loc să se bazeze exclusiv pe extinderea bazelor de date externe sau pe mărirea numărului de parametri.

Deocamdată, cercetarea rămâne la stadiul de analiză tehnică, dar rezultatele oferă o direcție clară pentru optimizarea viitoare a sistemelor de inteligență artificială generativă, cu accent pe fiabilitate și corectitudine factuală.