Stavo scrivendo qualcosa su questo, ma vedo che @anton_d_leicht mi ha battuto sul tempo (e ha fatto un lavoro molto migliore!). Quindi aggiungerò solo i miei pensieri incompleti, alcuni sovrapposti ai suoi: ----- Ho scritto una quantità decente riguardo l'arrivo di un'IA più avanzata. Ma mentre penso ancora che sia probabile che otterremo qualcosa come "AGI" nei prossimi due decenni, penso anche che sia probabile che ci sarà qualcosa come un "inverno dell'IA" nel mezzo. Quindi perché non scriverne anche? Penso sia importante, per i seguenti motivi: – Un inverno dell'IA potrebbe NON essere molto informativo su se, a lungo termine (decenni invece di anni), ci stiamo dirigendo verso qualcosa come l'AGI. – La maggior parte delle persone PERCEPIRÀ un inverno dell'IA come molto informativo riguardo la fattibilità dell'AGI. – L'esito che conta è l'AGI, non se ci sarà o meno un inverno dell'IA prima di essa. Le percezioni della maggior parte delle persone (e dei politici) contano. Un inverno dell'IA (e il conseguente crollo della bolla degli investimenti) potrebbe creare un periodo in cui qualsiasi discussione sui rischi e benefici di un'IA avanzata futura diventa completamente radioattiva. Se la tendenza principale verso l'intelligenza generale continua mentre non facciamo progressi in politica, avremo meno tempo per plasmare positivamente lo sviluppo dell'IA [ Immagina questo scenario pessimista: L'anno è il 2028. Le cose che funzionavano prima non funzionano più. La scalabilità del pre-addestramento ha iniziato a dare rendimenti fortemente decrescenti nel 2025. Anche la scalabilità dell'inferenza ha seguito la stessa sorte. I dati sintetici hanno funzionato per un po', ma hanno solo fatto convergere i modelli vicino a un nuovo tetto. Sono avvenute alcune ulteriori innovazioni, rendendo i LLM più intelligenti e utili. Ma sono ancora solo LLM, piuttosto fragili e non proprio bravi ad automatizzare lavori, anche se accettabili nell'automatizzare compiti di scrittura. Gli agenti stanno progredendo più lentamente del previsto. Si scopre che l'apprendimento auto-supervisionato dal testo era un segnale di addestramento particolarmente facile da generare. L'apprendimento auto-supervisionato nell'uso del computer e l'RL sono molto più difficili da impostare correttamente. Le persone stanno creando enormi simulazioni e addestrando agenti in esse, ma questi generalizzano relativamente male. Le persone puntano a cose come AI 2027 e vedono un tale divario tra "aspettativa" e realtà, che dicono che era tutto un hype. I laboratori di IA non possono più giustificare enormi cicli di addestramento; il calcolo va semplicemente sprecato per miglioramenti marginali sempre più piccoli. Forse abbiamo avuto alcune scoperte in lunghezza del contesto e apprendimento continuo, ma non sono sufficienti. Gli investimenti nell'IA crollano. Quindi anche R&D diminuisce. Parlare del futuro dell'IA diventa radioattivo. Qualsiasi speculazione sulle capacità future è sommersa da "realisti" che sottolineano gli ultimi anni di progressi deludenti. In questo scenario, nel 2028, questo sembrerebbe a molti (la maggior parte?) come la fine della storia. L'IA è buona, ma era solo destinata a essere così buona. E questo è tutto. Questo significa niente AGI, nessun impatto trasformativo, nessuna età dell'oro del progresso, e ovviamente, nessun rischio peggiore dei deepfake. Ma quanto durerà un inverno dell'IA? È possibile che duri per sempre, o almeno per alcuni decenni. Contro le probabilità derivate dalle tendenze del primo XX secolo, potremmo raggiungere un limite fondamentale. Gli esperti finiscono per informarci che l'analogia cervello-GPU era troppo grossolana — cosa che sapevamo già — ma si scopre che le differenze contano per passare da un predittore di testo a un agente generale. O avevamo bisogno di processi quantistici nel cervello per generare un locus di attenzione consapevole, che — si scopre — era necessario per ottenere le funzioni di ordine più alto. O non erano processi quantistici in sé, ma l'"hardware" altamente interconnesso che il cervello fornisce, che può essere simulato nel processamento per lo più parallelo che le GPU eseguono. Ma di nuovo, si scopre che queste simulazioni non sono sufficienti e abbiamo effettivamente bisogno di chip neuromorfici per creare agenti capaci, e questi non saranno disponibili per altri cinque decenni. Non è necessario pensare che una di queste storie di fallimento particolari sia plausibile per pensare che potremmo mancare di qualche ingrediente nella ricetta dell'AGI, e l'ingrediente potrebbe essere difficile o impossibile da ottenere questo secolo, proprio come è stato in ogni singolo secolo prima di questo. L'inverno dell'IA potrebbe anche essere breve, però. Siamo già abituati a un aumento a funzione a gradini delle capacità, dove otteniamo pochi aggiornamenti impressionanti tra grandi cicli di addestramento. Se alcuni cicli di addestramento non vanno come previsto, questo significa solo che saremo bloccati in un plateau molto più lungo, mentre gli ingredienti per il prossimo cambiamento di passo si assemblano e si accumulano fino alla soglia necessaria. Tuttavia, un periodo di progresso deludente più lungo del previsto potrebbe innescare molti degli stessi processi di un inverno più lungo. "Le leggi di scalabilità" sono un'osservazione empirica, non un fatto intrinseco sul mondo. Le tendenze possono assolutamente finire o rallentare significativamente. Perché la maggior parte delle persone — e soprattutto la maggior parte degli "esterni" che non seguono i progressi dell'IA — tende a sottovalutare l'importanza di queste tendenze, le persone che lavorano sull'IA a volte diventano polarizzate negativamente e diventano troppo assolutiste (qui satiricamente) [ riguardo il potere predittivo delle leggi di scalabilità. Sì, potremmo essere in un'altra situazione di Legge di Moore [ con le capacità dell'IA. Ma molte tendenze apparentemente stabili si fermano nel tempo — ricordiamo la Legge di Moore proprio perché è eccezionale. Infine, potrebbe non arrivare affatto [ un inverno dell'IA. Potremmo ottenere un fronte di IA in costante miglioramento nonostante i regolari "spaventi" ogni volta che l'IA sembra colpire un muro proprio prima di sfondarlo. Oppure potremmo ottenere un fronte in miglioramento mentre gran parte della "bolla" per le aziende wrapper e le startup di IA minori scoppia. Il succo è: c'è una tendenza fondamentale [ verso un'intelligenza sempre più generale. E è quella tendenza che conta. Non se i LLM ci porteranno lì, o se ci arriveremo con o senza un temporaneo inverno dell'IA nel mezzo. I nostri cervelli sono la prova che i ragionatori generali sono raggiungibili, e i sistemi di IA di oggi sono la prova che il nostro ragionamento può essere approssimato utilmente (che sia o meno "ragionamento reale") in domini altamente complessi. È possibile che alcune delle previsioni più pessimistiche che ho delineato sopra siano corrette, come il raggiungimento di limiti fondamentali dell'intelligenza delle macchine. Ma la pentola a pressione di un calcolo in aumento esponenziale, dati di addestramento e migliaia di geni che lavorano su nuovi algoritmi sembra alla fine portare a un'intelligenza avanzata. E se vogliamo farlo bene, è meglio concentrarci su questo, piuttosto che su risultati che semplicemente correlano con esso. Ha senso mettere molto impegno e pensiero nei risultati in cui otteniamo un'IA trasformativa rapidamente. Ma non scegliere colline irrilevanti su cui morire [ A proposito, cosa succede se la bolla scoppia? Anthropic fallisce, insieme ad altri laboratori di IA che non hanno un reddito più diversificato come Google DeepMind o Meta? Dove vanno gli impiegati di XAI se c'è una grande esodo? Alcuni dei laboratori di frontiera sarebbero in grado di continuare a spingere il fronte, anche se gran parte delle startup più piccole e degli investimenti vanno in bancarotta? Dobbiamo cercare di capirlo, proprio come cerchiamo di capire cosa fare assumendo che le tendenze continuino. Se hai idee, i miei DM sono aperti.