Google Research propune o „fază de somn” pentru ca modelele lingvistice să învețe continuu

Google Research prezintă un cadru de învățare continuă denumit „sleep framework”, conceput pentru modelele lingvistice mari care trebuie să integreze informații noi după momentul implementării. Ideea centrală este alternarea dintre perioade de interacțiune activă și o etapă offline de consolidare a memoriei. Autorii susțin că această structură poate ajuta modelele să transforme informația temporară din context în cunoaștere păstrată în parametri, fără modificarea arhitecturii de bază sau a codului principal al sistemului.

Problema pe care lucrarea încearcă să o abordeze este dublă. Pe de o parte, actualizarea repetată a parametrilor unui model cu date noi poate produce „uitare catastrofală”: performanța la sarcini învățate anterior se poate degrada pe măsură ce sunt învățate altele noi. Pe de altă parte, învățarea în context permite folosirea informației disponibile într-o conversație sau într-o fereastră de context, dar această informație nu rămâne, în mod normal, disponibilă ca memorie pe termen lung după încheierea sesiunii. Cadrul propus urmărește să depășească atât caracterul static al unui model preantrenat, cât și caracterul trecător al contextului.

Denumirile de „somn” și „visare” sunt inspirate din neuroștiințe, însă autorii precizează că mecanismul rămâne unul tehnic, definit prin reguli de antrenare stabilite de oameni și aplicat într-o arhitectură fixă. În etapa offline, modelul activează blocuri de memorie Mixture-of-Experts alocate anterior și își actualizează ponderile numerice pe baza unor exemple de practică generate de el însuși. Această etapă de post-antrenare automată este prezentată ca un mod prin care un sistem implementat ar putea absorbi fapte noi și și-ar putea rafina raționamentul, fără a-i fi schimbat designul fundamental.

Prima componentă a cadrului este consolidarea memoriei. În interpretarea teoretică propusă, nu este vorba despre copierea tuturor detaliilor din urmele de context în parametrii modelului, ci despre o compresie structurată care păstrează direcțiile considerate relevante pentru comportamentul viitor și pentru obiectivul semantic urmărit. Distilarea bazată pe comportamentul propriu al modelului este menită să apropie consolidarea de traseele pe care acesta le-ar produce la utilizare. Recompensa semantică stabilește, la rândul ei, ce informație merită păstrată, punând accent pe sens și pe comportamentul relevant pentru sarcină, nu doar pe potrivirea probabilităților pentru tokenuri.

A doua componentă, numită „visare”, este descrisă ca o buclă autonomă de îmbunătățire. Activarea aleatorie a unor experți și selectarea exemplelor sintetice pe baza recompensei ar lărgi varietatea direcțiilor de actualizare explorate în timpul generării. Filtrarea bazată pe gradienți ar selecta experiențele sintetice cu semnal de învățare mai util. Potrivit analizei din articol, combinația ar putea produce o optimizare mai echilibrată, în care progresul este mai puțin dominat de un număr mic de direcții de actualizare. Autorii subliniază astfel că „visarea” nu este prezentată doar ca augmentare cu date generate intern, ci ca un proces de diversificare, selecție și consolidare a actualizărilor.

Rezultatele raportate acoperă mai multe tipuri de evaluări. Pentru traducerea continuă în limbi neîntâlnite anterior, inclusiv manciuriana și kalamang, cadrul a avut, conform articolului, o scădere aproape nulă a performanței în evaluări pe mai multe etape, în timp ce metode de referință precum învățarea în context, Cartridges și ajustarea supravegheată au înregistrat uitare severă în învățarea secvențială. În testul BABILong, metoda a avut o scalare aproape perfectă până la contexte de 10 milioane de tokenuri și a depășit reperele menționate în articol, inclusiv GPT-4 și Titans. Autorii atribuie acest rezultat consolidării din etapa de somn, care comprimă informația din contextul lung în memoria parametrică.

Pe SQuAD, configurația Sleep cu memorie pe patru niveluri a obținut 48,9% pentru un singur pasaj și 46,2% pentru preantrenare continuă. Pentru Qwen3-8B, autorii raportează, folosind metrica average@16, 79,2% pe AIME 2024, 69,0% pe AIME 2025 și 46,1% pe HMMT 2025. Rezultatele descriu aceste configurații experimentale și nu garantează aceleași performanțe pentru orice model.