also an den Grenzen von AI für autonome Fortschritte zum Kontext: vor ein paar Tagen habe ich einen Prompt für ein "NanoHVM" geschrieben - eine Spielzeugversion meiner Laufzeit, mit 16-Bit-Begriffen - und die AIs gebeten, einen Evaluator zu schreiben. Nach ein paar Schleifen der Mensch-AI-Zusammenarbeit erhielt ich eine überraschend schnelle Implementierung. Leider wurde die Datei sehr groß und unübersichtlich, also wollte ich sie kleiner machen. Ich richtete eine Codex/Claude/Gemini-Sitzung ein und bat sie, "es kürzer zu machen". Der erste Prompt funktionierte, also wiederholte ich die gleiche Anfrage immer wieder, über mehrere Stunden. Schließlich stießen die AIs an eine Wand. Egal wie oft ich fragte, sie konnten es nicht über einen bestimmten Schwellenwert hinaus verkürzen. Ich wollte verstehen, warum, also las ich die Datei. Zu meiner Überraschung war sie eindeutig nicht optimal - tonnenweise Redundanzen und schlechte Abstraktionen - doch sie änderte sich kaum noch. Commit für Commit beinhaltete sie immer noch die gleichen Techniken, den gleichen Ansatz und die gleichen Redundanzen. Es gab nur kleine Anpassungen, aber keine wesentliche Neuschreibung fand statt, und das war nötig für weitere Fortschritte. Also bat ich die AI, genau das zu tun. "Mach diesmal eine vollständige Neuschreibung" "Denke grundlegend darüber nach" "Du bist frei, alles zu ändern" "Hör auf, inkrementelle Änderungen vorzunehmen" "Ersetze X durch einen ganz neuen Ansatz" doch das war vergeblich. Diese allgemeinen Anfragen hatten überhaupt keinen Effekt. Stunden später implementierte die Datei immer noch den gleichen Ansatz. Die AI war in einem lokalen Minimum gefangen und konnte nicht herauskommen. Also gab ich auf und beschloss, mitzumachen. Ich nahm mir ein paar Minuten Zeit, um darüber nachzudenken, und schrieb einen kurzen Prompt - etwa 500 Tokens lang - mit spezifischen Anweisungen. "Ersetze X durch Y, mache Z auf diese Weise". Irgendwie ließen diese ~3 Absätze etwas klicken, sie kamen sofort aus dem Stau, arbeiteten etwa 1h30m am Stück und kamen mit einer Datei zurück, die fast 2x kleiner *und* 10% schneller war. Und es war eine wirklich schöne, hochwertige Datei. Also denke ich, die Lektion ist: moderne AIs können keinen autonomen Fortschritt machen. Wenn man sie unbeaufsichtigt arbeiten lässt, bleiben sie stecken. Das ist eine grundlegende Einschränkung, wie diese Dinge funktionieren, zumindest im Moment. Doch wenn man alle paar Stunden 5-10 Minuten investiert, um sie zu besuchen, zu verstehen, wo sie stehen, und etwas menschliches Wissen einzuspeisen - dann werden sie einfach weitermachen, massive Mengen an Arbeit leisten und unglaubliche Ergebnisse erzielen, während man sein Wochenende mit Spielen verbringt. Ich frage mich, was ihnen fehlt, um ohne mein Eingreifen unstuck zu werden. Es fühlt sich an, als hätte mein Prompt nichts Besonderes. Alle Ideen darin sind Konzepte, die diese AIs kennen, und es fühlt sich an, als könnten sie diese Ideen absolut selbst entwickeln. Doch sie tun es einfach nicht... warum? Wie auch immer, ich plane, dieses süße Ding später nächste Woche Open Source zu stellen. Es ist nicht gerade nützlich für die meisten von euch, aber falls ihr zufällig nach der schnellsten 16-Bit-Mustererkennungs-Engine der Welt sucht, könnte diese Datei genau das sein, wonach ihr gesucht habt!

"Vorsicht, das ist deine letzte Bearbeitung" Keine Sorge, ich bin zuversichtlich, dass das der letzte Tippfehler war

oh, verdammte Scheiße