Jag skrev något om detta men se @anton_d_leicht slog mig till det (och gjorde ett mycket bättre jobb med det!). Så jag lägger bara till mina ofullständiga tankar, några överlappar med hans: ----- Jag har skrivit en hel del om framväxten av mer avancerad AI. Men även om jag fortfarande tror att det är troligt att vi kommer att få något som liknar "AGI" under de kommande två decennierna, tror jag också att det är troligt att vi kommer att få något som liknar en "AI-vinter" däremellan. Så varför inte skriva om det också? Jag tycker att det är viktigt, på grund av följande: – En AI-vinter kanske INTE är så informativ om huruvida vi på längre sikt (decennier istället för år) är på väg mot något som AGI. – De flesta KOMMER att uppfatta en AI-vinter som väldigt informativ om genomförbarheten av AGI. – Resultatet som spelar roll är AGI, inte om det finns en AI-vinter framför sig eller inte. De flesta människors (och beslutsfattarnas) uppfattningar spelar roll. En AI-vinter (och den resulterande investeringsbubblan som spricker) skulle kunna skapa en tidsperiod då allt prat om riskerna och fördelarna med framtida avancerad AI blir helt radioaktivt. Om den grundläggande trenden mot allmän intelligens fortsätter samtidigt som vi inte gör framsteg i politiken, kommer vi att ha mindre tid att positivt forma utvecklingen av AI [ Föreställ dig detta pessimistiska scenario: Året är 2028. Saker som brukade fungera fungerar inte längre. Skalning av förträning började ge starkt minskande avkastning 2025. Skalningsinferens följde efter. Syntetisk data fungerade ett tag, men fick bara modeller att konvergera nära ett nytt tak. Några ytterligare innovationer hände, vilket gjorde LLM:er mer intelligenta och användbara. Men de är fortfarande bara LLM:er, ganska sköra och inte riktigt bra på att automatisera jobb, även om de är okej på att automatisera skrivuppgifter. Agenterna utvecklas långsammare än väntat. Det visade sig att självövervakad inlärning från text var en särskilt enkel träningssignal att generera. Självövervakad inlärning i datoranvändning och RL är mycket svårare att ställa in på rätt sätt. Människor gör enorma simuleringar och tränar agenter i dem, men dessa generaliserar relativt dåligt. Folk pekar på saker som AI 2027 och ser ett sådant gap mellan "förväntan" och verklighet att de säger att det bara var en hype. AI-laboratorierna kan inte längre motivera enorma träningskörningar; Beräkningen kommer bara att slösas bort för allt mindre marginella förbättringar. Kanske har vi haft några genombrott när det gäller kontextlängd och kontinuerligt lärande, men de räcker inte. Investeringarna i AI rasar. Så forskning och utveckling faller också. Att prata om framtiden för AI blir radioaktivt. Alla spekulationer om framtida förmågor dränks av "realister" som pekar på de senaste årens besvikelser som gjort framsteg. I det här scenariot, år 2028, skulle detta för många (de flesta?) se ut som slutet på historien. AI är bra, men det skulle bara bli så bra. Och det är allt. Detta innebär ingen AGI, inga transformativa effekter, ingen guldålder av framsteg och naturligtvis inga risker som är värre än deepfakes. Men hur länge skulle en AI-vinter pågå? Det är möjligt att det varar för evigt, eller åtminstone tar några decennier. Mot de odds som härrör från det tidiga 1900-talets trender kan vi nå en grundläggande gräns. Det slutar med att experterna informerar oss om att analogin mellan hjärna och GPU var för grov – vilket vi alla redan visste – men det visar sig att skillnaderna spelar roll för att gå från textprediktor till generalagent. Eller så behövde vi kvantprocesser i hjärnan för att generera en medveten plats för uppmärksamhet, vilket – visade sig – var nödvändigt för att få den allra högsta ordningens funktion. Eller så var det inte kvantprocesser i sig, utan den mycket sammankopplade "hårdvara" som hjärnan tillhandahåller, som kan simuleras i den mestadels parallella bearbetning som GPU:erna utför. Men det visar sig att dessa simuleringar inte är tillräckliga och vi behöver faktiskt neuromorfa chip för att skapa kapabla agenter, och de kommer inte att vara tillgängliga förrän om fem decennier. Du behöver inte tro att någon av dessa speciella misslyckanden är rimliga för att tro att vi kanske saknar någon ingrediens i AGI-receptet, och ingrediensen kan vara svår eller omöjlig att få tag på detta århundrade, samma som det var varje århundrade före detta. AI-vintern kan dock också bli kort. Vi är redan vana vid en stegvis funktionsökning av kapaciteten, där vi får få imponerande uppdateringar mellan stora träningskörningar. Om några träningsrundor inte går som förväntat betyder det bara att vi kommer att fastna på en mycket längre platå, medan ingredienserna för nästa stegförändring samlas och byggs upp till den nödvändiga tröskeln. En längre period än väntat av undermåliga framsteg kan dock utlösa många av samma processer som under en längre vinter. "Skalningslagar" är en empirisk observation, inte ett inneboende faktum om världen. Trenderna kan absolut upphöra eller sakta ner avsevärt. Eftersom de flesta människor – och särskilt de flesta "utomstående" som inte följer AI:s framsteg – tenderar att underskatta betydelsen av dessa trender, blir människor som arbetar med AI ibland negativt polariserade och blir för absolutistiska (här satiriskt) [om den prediktiva kraften i skalningslagar. Ja, vi kan befinna oss i en annan situation med Moores lag [ med AI-kapacitet. Men många till synes stabila trender stannar av med tiden – vi minns Moores lag just för att den är exceptionell. Slutligen kanske det inte kommer någon AI-vinter alls. Vi kan få en stadigt förbättrad gräns för AI trots de vanliga "skrämseleffekterna" när AI verkar träffa en vägg precis innan den slår igenom den. Eller så kan vi få en förbättrad gräns när mycket av "bubblan" för omslagsföretag och mindre AI-startups spricker. Resultatet är att det finns en underliggande kärntrend [ mot alltmer allmän intelligens. Och det är den trenden som räknas. Inte om LLM:er kommer att ta oss dit, eller om vi kommer att nå dit med eller utan en tillfällig AI-vinter däremellan. Våra hjärnor är bevis på att det är möjligt att resonera generellt, och dagens AI-system är ett bevis på att vårt resonemang kan approximeras på ett användbart sätt (oavsett om det är "riktigt resonemang") inom mycket komplexa domäner. Det är möjligt att några av de mest pessimistiska förutsägelserna som jag beskrev ovan är korrekta, som att nå grundläggande gränser för maskinintelligens. Men tryckkokaren av exponentiellt ökande databehandling, träningsdata och tusentals genier som arbetar med nya algoritmer verkar så småningom leda till avancerad intelligens. Och om vi vill få det rätt är det bättre att vi fokuserar på det, snarare än resultat som bara korrelerar med det. Det är vettigt att lägga mycket ansträngning och tanke på resultaten där vi snabbt får transformativ AI. Men välj inte irrelevanta kullar att dö på [ På tal om det, vad händer om bubblan spricker? Misslyckas Anthropic, tillsammans med andra AI-labb som inte har mer diversifierad inkomst som Google, DeepMind eller Meta? Vart tar XAI-anställda vägen om det blir en stor utflyttning? Skulle åtminstone några av frontier labs kunna fortsätta att tänja på gränserna, även om många av de mindre startups och investeringar går i konkurs? Det är bäst att vi försöker ta reda på det, på samma sätt som vi försöker ta reda på vad vi ska göra om trenderna fortsätter. Om du har idéer är mina DMs öppna.