Ik was hier iets over aan het schrijven, maar zie dat @anton_d_leicht me voor is (en het veel beter heeft gedaan!). Dus ik voeg gewoon mijn onvolledige gedachten toe, sommige overlappen met die van hem: ----- Ik heb een behoorlijke hoeveelheid geschreven over de komst van meer geavanceerde AI. Maar terwijl ik nog steeds denk dat het waarschijnlijk is dat we iets als "AGI" in de komende twee decennia zullen krijgen, denk ik ook dat het waarschijnlijk is dat we iets als een "AI winter" ertussen zullen krijgen. Dus waarom er niet ook over schrijven? Ik denk dat het belangrijk is, om de volgende redenen: – Een AI winter mag NIET erg informatief zijn over de vraag of we op de lange termijn (decennia in plaats van jaren) op weg zijn naar iets als AGI. – De meeste mensen ZULLEN een AI winter beschouwen als zeer informatief over de haalbaarheid van AGI. – De uitkomst die ertoe doet is AGI, niet of er wel of niet een AI winter voor komt. De percepties van de meeste mensen (en beleidsmakers) zijn belangrijk. Een AI winter (en de resulterende ineenstorting van de investeringsbubbel) zou een periode kunnen creëren waarin elke discussie over de risico's en voordelen van toekomstige geavanceerde AI volkomen radioactief wordt. Als de kerntrend naar algemene intelligentie doorgaat terwijl we geen vooruitgang boeken in beleid, hebben we minder tijd om de ontwikkeling van AI positief vorm te geven [ Stel je dit pessimistische scenario voor: Het jaar is 2028. Dingen die vroeger werkten, werken niet meer. Het schalen van pretraining begon in 2025 sterk afnemende rendementen te geven. Het schalen van inferentie volgde hetzelfde pad. Synthetische data werkte een tijdje, maar zorgde er alleen voor dat modellen dicht bij een nieuwe plafond convergeerden. Een paar verdere innovaties vonden plaats, waardoor LLM's intelligenter en nuttiger werden. Maar ze zijn nog steeds gewoon LLM's, vrij kwetsbaar en niet echt goed in het automatiseren van banen, zelfs als ze oké zijn in het automatiseren van schrijftaken. Agents vorderen langzamer dan verwacht. Het blijkt dat zelfgestuurde leren uit tekst een bijzonder gemakkelijk trainingssignaal was om te genereren. Zelfgestuurd leren in computergebruik en RL is veel moeilijker goed op te zetten. Mensen maken enorme simulaties en trainen agents daarin, maar deze generaliseren relatief slecht. Mensen wijzen op dingen zoals AI 2027 en zien zo'n kloof tussen "verwachting" en werkelijkheid, dat ze zeggen dat het allemaal hype was. De AI-laboratoria kunnen geen enorme trainingsruns meer rechtvaardigen; de rekencapaciteit gaat gewoon verloren voor steeds kleinere marginale verbeteringen. Misschien hadden we een paar doorbraken in contextlengte en continue leren, maar ze zijn niet genoeg. Investeringen in AI kelderen. Dus R&D valt ook. Praten over de toekomst van AI wordt radioactief. Elke speculatie over toekomstige mogelijkheden wordt overschaduwd door "realisten" die wijzen op de laatste paar jaar van teleurstellende vooruitgang. In dit scenario zou het in 2028 voor velen (de meesten?) eruitzien als het einde van het verhaal. AI is goed, maar het zou altijd maar zo goed zijn. En dat is het. Dit betekent geen AGI, geen transformerende impact, geen gouden tijdperk van vooruitgang, en natuurlijk, geen risico's erger dan deepfakes. Maar hoe lang zou een AI winter duren? Het is mogelijk dat het voor altijd duurt, of in ieder geval een paar decennia. Tegen de kansen afgeleid van trends uit het begin van de 20e eeuw, kunnen we een fundamentele limiet bereiken. De experts informeren ons dat de hersen-GPU-analogie te grof was — wat we allemaal al wisten — maar het blijkt dat de verschillen belangrijk zijn voor de overgang van tekstvoorspeller naar algemene agent. Of we hadden kwantumprocessen in de hersenen nodig om een bewuste locus van aandacht te genereren, wat — blijkt — noodzakelijk was om de allerhoogste functies te krijgen. Of het waren niet per se kwantumprocessen, maar de sterk onderling verbonden "hardware" die de hersenen bieden, die kan worden gesimuleerd in de grotendeels parallelle verwerking die de GPU's uitvoeren. Maar het blijkt weer dat deze simulaties niet genoeg zijn en we eigenlijk neuromorfe chips nodig hebben om capabele agents te creëren, en die zullen nog vijf decennia niet beschikbaar zijn. Je hoeft niet te denken dat een van deze specifieke faverhalen plausibel is om te denken dat we misschien een ingrediënt in het AGI-recept missen, en dat het ingrediënt moeilijk of onmogelijk te verkrijgen kan zijn deze eeuw, net zoals het in elke eeuw daarvoor was. De AI winter kan ook kort zijn, hoewel. We zijn al gewend aan een stapfunctie-increase in mogelijkheden, waar we weinig indrukwekkende updates krijgen tussen grote trainingsruns. Als een paar trainingsruns niet uitpakken zoals verwacht, betekent dit gewoon dat we vast komen te zitten in een veel langere plateau, terwijl de ingrediënten voor de volgende stapverandering zich verzamelen en opbouwen tot de noodzakelijke drempel. Toch zou een langere dan verwachte periode van teleurstellende vooruitgang veel van dezelfde processen van een langere winter kunnen triggeren. "Schaalwetten" zijn een empirische observatie, geen inherente feit over de wereld. De trends kunnen absoluut eindigen of aanzienlijk vertragen. Omdat de meeste mensen — en vooral de meeste "buitenstaanders" die de AI-vooruitgang niet volgen — de betekenis van deze trends vaak onderschatten, worden mensen die aan AI werken soms negatief gepolariseerd en worden ze te absolutistisch (hier satirisch) [ over de voorspellende kracht van schaalwetten. Ja, we zouden in een andere Moore's Law [ situatie met AI-mogelijkheden kunnen zijn. Maar veel schijnbaar stabiele trends stoppen na verloop van tijd — we herinneren ons Moore's Law precies omdat het uitzonderlijk is. Ten slotte kan er helemaal geen AI winter komen. We kunnen een gestaag verbeterende grens van AI krijgen ondanks de reguliere "schrikken" wanneer AI lijkt te stuiten op een muur net voordat het erdoorheen breekt. Of we kunnen een verbeterende grens krijgen terwijl een groot deel van de "bubbel" voor wrapperbedrijven en kleinere AI-startups barst. De conclusie is: er is een onderliggende kerntrend [ naar steeds meer algemene intelligentie. En het is die trend die ertoe doet. Niet of LLM's ons daar zullen brengen, of we daar zullen komen met of zonder een tijdelijke AI winter ertussen. Onze hersenen zijn het bewijs dat algemene redenaars haalbaar zijn, en de huidige AI-systemen zijn het bewijs dat ons redeneren nuttig kan worden benaderd (of het nu "echte redenering" is of niet) in zeer complexe domeinen. Het is mogelijk dat sommige van de meest pessimistische voorspellingen die ik hierboven heb uiteengezet correct zijn, zoals het bereiken van fundamentele limieten van machine-intelligentie. Maar de drukpan van exponentieel toenemende rekencapaciteit, trainingsdata en duizenden genieën die werken aan nieuwe algoritmen lijkt uiteindelijk te leiden tot geavanceerde intelligentie. En als we dat goed willen krijgen, kunnen we beter daarop focussen, in plaats van op uitkomsten die slechts correleren met het. Het is logisch om veel moeite en gedachten te steken in de uitkomsten waar we snel transformerende AI krijgen. Maar kies geen irrelevante heuvels om op te sterven [ Over dat gesproken, wat gebeurt er als de bubbel barst? Faalt Anthropic, samen met andere AI-laboratoria die niet meer gediversifieerde inkomsten hebben zoals Google DeepMind of Meta? Waar gaan de XAI-medewerkers heen als er een grote exodus is? Zouden tenminste enkele van de grenslaboratoria in staat zijn om de grens te blijven verleggen, zelfs als veel van de kleinere startups en investeringen failliet gaan? We moeten het beter proberen uit te zoeken, net zoals we proberen uit te zoeken wat te doen als de trends doorgaan. Als je ideeën hebt, mijn DMs staan open.