Google Research accelerează modelele Gemini Nano pe Pixel printr-o tehnică inovatoare de predicție multi-token

Google Research a anunțat o nouă abordare tehnică menită să crească viteza de procesare a modelelor de limbaj Gemini Nano rulate local pe telefoanele Pixel. Soluția, denumită „frozen Multi-Token Prediction” (predicție multi-token înghețată), reprezintă o optimizare importantă pentru inteligența artificială care funcționează direct pe dispozitiv, fără a depinde de servere cloud.

Ce este predicția multi-token

În mod tradițional, modelele de limbaj generează text token cu token, adică fiecare cuvânt sau fragment de cuvânt este produs pe rând, într-un proces secvențial care necesită timp de calcul considerabil. Tehnica prezentată de echipa Google Research schimbă acest paradigmă, permițând modelului să anticipeze mai mulți tokeni simultan, printr-un mecanism suplimentar atașat arhitecturii de bază.

Potrivit Google Research, particularitatea metodei constă în faptul că straturile principale ale modelului rămân „înghețate”, adică neschimbate, în timp ce doar componentele adiționale responsabile de predicția multi-token sunt antrenate separat. Această strategie reduce semnificativ costurile de antrenare, deoarece nu este nevoie să se reantreneze întregul model de la zero.

Beneficii pentru dispozitivele mobile

Aplicarea acestei tehnici pe modelele Gemini Nano, concepute special pentru a rula eficient pe hardware limitat precum smartphone-urile, aduce avantaje concrete pentru utilizatorii de dispozitive Pixel. Viteza mai mare de generare a textului se traduce prin răspunsuri mai rapide la funcțiile bazate pe inteligență artificială integrate în sistemul de operare, de la sumarizarea notificărilor până la asistență conversațională.

Un aspect esențial subliniat de cercetători este faptul că accelerarea vitezei nu vine cu un compromis major asupra calității textului generat. Modelele continuă să producă răspunsuri coerente și relevante, păstrând totodată avantajul procesării locale, care oferă confidențialitate sporită datelor utilizatorilor, întrucât informațiile nu mai trebuie trimise către servere externe pentru procesare.

Implicații pentru viitorul AI-ului pe dispozitiv

Progresul anunțat de Google Research se înscrie într-o tendință mai largă a industriei tehnologice, care urmărește să mute tot mai multe capabilități de inteligență artificială direct pe dispozitivele utilizatorilor, reducând dependența de infrastructura cloud. Optimizări precum predicția multi-token înghețată ar putea deveni standard pentru viitoarele generații de modele compacte, destinate telefoanelor, tabletelor și altor dispozitive cu resurse limitate.

Rămâne de văzut cum va evolua implementarea acestei tehnologii în versiunile viitoare ale sistemului Android și ale ecosistemului Pixel, precum și dacă abordarea va fi adoptată și de alți producători de modele AI compacte.