altså om grensene for AI for autonom fremgang For kontekst: For noen dager siden skrev jeg en prompt for en "NanoHVM" – en leketøysversjon av min runtime, med 16-bits termer – og ba AI-ene skrive en evaluator. etter noen runder med samarbeid mellom menneske og AI fikk jeg en overraskende rask implementering dessverre ble filen veldig stor og stygg, så jeg ønsket å gjøre den mindre. Jeg satte opp en codex/claude/gemini-økt, og ba dem «gjøre det kortere». første prompt fungerte, så jeg gjentok den samme forespørselen, om og om igjen, i flere timer. til slutt møter AI-en en vegg. uansett hvor mye jeg spurte, klarte de ikke å forkorte den over en viss terskel. Jeg ville forstå hvorfor, så jeg leste filen. Til min overraskelse var det tydeligvis ikke optimalt – masse redundans og dårlige abstraksjoner – men det endret seg knapt lenger. Commit etter commit, det inkluderte fortsatt de samme teknikkene, samme tilnærming og de samme redundansene. Det var bare små justeringer, men ingen større omskriving ble gjort, og det var nødvendig for ytterligere gevinster. Så jeg ba AI-en gjøre nettopp det. "Gjør en fullstendig omskriving denne gangen" "resonnerer seg grunnleggende om det" "Du står fritt til å endre hva som helst" "Slutt å gjøre inkrementelle endringer" "erstatte X med en helt ny tilnærming" Likevel var dette nytteløst. Disse generiske forespørslene hadde ingen effekt i det hele tatt. Timer senere implementerte filen fortsatt samme tilnærming. AI-en satt fast i et lokalt minima, og klarte ikke å komme seg ut av det. så jeg ga opp, og bestemte meg for å bli med. Jeg tok meg tid til å tenke litt på det, og skrev en kort prompt – omtrent 500 tokens lang – med spesifikke instruksjoner. "erstatte X med Y, gjør Z på denne måten". På en eller annen måte fikk disse ~3 avsnittene noe til å klikke, de løsnet umiddelbart, jobbet i ~1 time og 30 minutter i strekk, og kom tilbake med en fil som var nesten dobbelt så mye mindre *og* 10 % raskere. Og det var en virkelig vakker, høykvalitets fil så jeg antar at lærdommen er: moderne AI-er kan ikke gjøre autonom fremgang. Hvis du lar dem jobbe uten tilsyn, vil de sette seg fast. Det er en grunnleggende begrensning i hvordan disse tingene fungerer, i hvert fall foreløpig. Men hvis du hver par timer bruker 5-10 minutter på å besøke dem igjen, forstå hvor de er, og tilføre litt menneskelig kunnskap – da vil de bare fortsette, gjøre enorme mengder arbeid og oppnå utrolige resultater, mens du tilbringer helgen med å spille noen spill Jeg lurer også på hva som mangler for at de skal kunne komme seg løs uten min inngripen. Det føles som om prompten min ikke hadde noe spesielt. alle ideer om det er konsepter disse AI-ene kjenner til, og det føles som om de kunne ha kommet opp med den prompten. Likevel gjør de bare ikke... Uansett, jeg planlegger å åpne denne søte tingen senere neste uke. Den er ikke akkurat nyttig for de fleste av dere, men hvis du tilfeldigvis har lett etter verdens raskeste 16-bits mønstergjenkjenningsmotor, kan denne filen være akkurat det du har lett etter!

Jeg er opprørt fordi jeg stadig ber AI-en om å gjøre matematisk og fysisk umulige ting, og den fortsetter å feile