Scriam ceva despre asta, dar văd @anton_d_leicht m-a învins (și a făcut o treabă mult mai bună la asta!). Așa că voi adăuga doar gândurile mele incomplete, unele suprapuse cu ale lui: ----- Am scris o cantitate decentă despre apariția unei inteligențe artificiale mai avansate. Dar, deși încă cred că este probabil să obținem ceva de genul "AGI" în următoarele două decenii, cred că este probabil să avem ceva de genul "iarnă AI" între ele. Deci, de ce să nu scrii și despre asta? Cred că este important, din cauza următoarelor: – O iarnă AI s-ar putea să NU fie foarte informativă dacă, pe termen lung (decenii în loc de ani), ne îndreptăm spre ceva de genul AGI. – Majoritatea oamenilor vor percepe o iarnă AI ca fiind foarte informativă cu privire la fezabilitatea AGI. – Rezultatul care contează este AGI, nu dacă există sau nu o iarnă AI înaintea ei. Percepțiile majorității oamenilor (și ale factorilor de decizie politică) contează. O iarnă AI ar putea crea o perioadă de timp în care orice discuție despre riscurile și beneficiile viitoarei IA avansate devine complet radioactivă. Dacă tendința de bază către inteligența generală continuă în timp ce nu facem progrese în politică, vom avea mai puțin timp pentru a modela pozitiv dezvoltarea IA [ Imaginați-vă acest scenariu pesimist: Anul este 2028. Lucrurile care funcționau înainte nu mai funcționează. Scalarea pretraining-ului a început să dea randamente puternic în scădere în 2025. Inferența de scalare a urmat exemplul. Datele sintetice au funcționat o vreme, dar au făcut ca modelele să convergă doar în apropierea unui nou plafon. Au apărut câteva inovații suplimentare, făcând LLM-urile mai inteligente și mai utile. Dar sunt încă doar LLM-uri, destul de fragile și nu prea bune la automatizarea lucrărilor, chiar dacă sunt în regulă la automatizarea sarcinilor de scriere. Agenții progresează mai lent decât se anticipase. Se pare că învățarea auto-supravegheată din text a fost un semnal de antrenament deosebit de ușor de generat. Învățarea auto-supravegheată în utilizarea computerului și RL sunt mult mai greu de configurat corect. Oamenii fac simulări uriașe și antrenează agenți în ele, dar acestea se generalizează relativ prost. Oamenii arată cu degetul spre lucruri precum AI 2027 și văd un decalaj atât de mare între "așteptări" și realitate, încât spun că totul a fost hype. Laboratoarele AI nu mai pot justifica curse uriașe de antrenament; Calculul se va risipi pentru îmbunătățiri marginale din ce în ce mai mici. Poate că am avut câteva descoperiri în lungimea contextului și învățarea continuă, dar nu sunt suficiente. Investițiile în AI se prăbușesc. Așa că cercetarea și dezvoltarea scade și ea. A vorbi despre viitorul IA devine radioactiv. Orice speculație despre capacitățile viitoare este înecată de "realiști" care subliniază ultimii ani de progrese dezamăgitoare. În acest scenariu, în 2028, acest lucru ar părea pentru mulți (majoritatea?) ca sfârșitul poveștii. AI este bună, dar avea să fie atât de bună. Și asta este. Asta înseamnă fără AGI, fără impact transformator, fără epocă de aur a progresului și, desigur, fără riscuri mai rele decât deepfake-urile. Dar cât ar dura o iarnă AI? Este posibil să dureze pentru totdeauna sau cel puțin să dureze câteva decenii. Împotriva șanselor derivate din tendințele de la începutul secolului 20, s-ar putea să atingem o limită fundamentală. Experții ajung să ne informeze că analogia creier-GPU a fost prea grosieră – ceea ce știam cu toții deja – dar se pare că diferențele contează pentru a trece de la predictor de text la agent general. Sau aveam nevoie de procese cuantice în creier pentru a genera un locus conștient de atenție, care – se pare – era necesar pentru a obține funcționarea de cel mai înalt ordin. Sau nu au fost procese cuantice în sine, ci "hardware-ul" extrem de interconectat pe care îl oferă creierul, care poate fi simulat în majoritatea procesării paralele pe care GPU-urile le efectuează. Dar, din nou, aceste simulări nu sunt suficiente și avem nevoie de cipuri neuromorfice pentru a crea agenți capabili, iar aceștia nu vor fi disponibili pentru încă cinci decenii. Nu trebuie să credeți că niciuna dintre aceste povești de eșec sunt plauzibile pentru a crede că s-ar putea să ne lipsească un ingredient din rețeta AGI, iar ingredientul poate fi greu sau imposibil de obținut în acest secol, la fel cum a fost în fiecare secol înainte de acesta. Iarna AI poate fi, de asemenea, scurtă. Suntem deja obișnuiți cu o creștere a capacităților în funcție de pas, unde primim puține actualizări impresionante între cursele mari de antrenament. Dacă câteva curse de antrenament nu merg așa cum era de așteptat, asta înseamnă doar că vom fi blocați într-un platou mult mai lung, în timp ce ingredientele pentru următoarea schimbare se asamblează și se construiesc până la pragul necesar. Cu toate acestea, o perioadă mai lungă decât se aștepta de progres dezamăgitor ar putea declanșa multe dintre aceleași procese ale unei ierni mai lungi. "Legile de scalare" sunt o observație empirică, nu un fapt inerent despre lume. Tendințele se pot încheia sau încetini semnificativ. Deoarece majoritatea oamenilor – și în special cei din afară, care nu urmăresc progresul IA – tind să subestimeze importanța acestor tendințe, oamenii care lucrează la IA devin uneori polarizați negativ și devin prea absolutiști (aici satiric). Da, am putea fi într-o altă situație cu capabilitățile AI. Dar multe tendințe aparent stabile se opresc în timp – ne amintim de Legea lui Moore tocmai pentru că este excepțională. În cele din urmă, s-ar putea să nu vină deloc o iarnă AI. S-ar putea să obținem o frontieră a IA în continuă îmbunătățire, în ciuda "sperieturilor" obișnuite ori de câte ori IA pare să se lovească de un zid chiar înainte de a-l sparge. Sau s-ar putea să obținem o frontieră îmbunătățită pe măsură ce o mare parte din "bula" pentru companiile de înfășurare și startup-urile mai puțin AI explodează. Rezultatul este: există o tendință de bază [ către o inteligență din ce în ce mai generală. Și această tendință este cea care contează. Nu dacă LLM-urile ne vor duce acolo sau dacă vom ajunge acolo cu sau fără o iarnă temporară AI între ele. Creierele noastre sunt dovada că raționamentul general este realizabil, iar sistemele AI de astăzi sunt dovada că raționamentul nostru poate fi aproximat în mod util (indiferent dacă este sau nu "raționament real") în domenii extrem de complexe. Este posibil ca unele dintre cele mai pesimiste predicții pe care le-am prezentat mai sus să fie corecte, cum ar fi atingerea limitelor fundamentale ale inteligenței artificiale. Dar oala sub presiune a calculului în creștere exponențială, a datelor de antrenament și a miilor de genii care lucrează la noi algoritmi pare să ducă în cele din urmă la inteligență avansată. Și dacă vrem să facem acest lucru corect, mai bine ne concentrăm pe asta, mai degrabă decât pe rezultatele care se corelează doar cu ea. Este logic să depunem mult efort și să ne gândim la rezultate în care obținem rapid o inteligență artificială transformatoare. Dar nu alege dealuri irelevante pe care să mori [ Apropo, ce se întâmplă dacă bula se sparge? Eșuează Anthropic, alături de alte laboratoare de inteligență artificială care nu au venituri mai diversificate, cum ar fi Google DeepMind sau Meta? Unde merg angajații XAI dacă există un exod mare? Ar putea cel puțin unele dintre laboratoarele de frontieră să continue să împingă frontiera, chiar dacă multe dintre startup-urile și investițiile mai mici dau faliment? Ar fi bine să încercăm să ne dăm seama, la fel cum încercăm să ne dăm seama ce să facem presupunând că tendințele continuă. Dacă aveți idei, DM-urile mele sunt deschise.