では、自律的な進歩におけるAIの限界について 参考までに:数日前に「NanoHVM」という、16ビットの項を含むランタイムのおもちゃ版のプロンプトを書き、AIに評価者を書いてもらいました。人間とAIの協力を数回繰り返した後、驚くほど速い実装ができました 残念ながらファイルが大きくて見た目も悪くなってきていたので、小さくしたかったのです。私はCodex/Claude/Geminiのセッションを設定し、「短くしてほしい」と頼みました。最初のプロンプトはうまくいったので、同じリクエストを何時間も繰り返しました。やがてAIは行き詰まりました。どれだけ頼んでも、ある閾値以上に短縮できなかった。 なぜそうなのか理解したくて、ファイルを読みました。驚いたことに、明らかに最適とは言えず、冗長性や抽象化が悪いのに、ほとんど変わらなかった。コミットを何度も繰り返し、同じ手法、同じアプローチ、同じ冗長性を含んでいました。わずかな調整はありましたが、大幅な書き直しは行われておらず、さらなる成果を得るためにはそれが必要でした。そこで私はAIにまさにそれを頼みました。 「今度こそ完全に書き直して」 「根本的に考えて」 「何でも変えていい」 「段階的な変化をやめろ」 「Xをまったく新しいアプローチで置き換える」 しかし、それは無駄だった。これらの一般的な要求は全く効果がありませんでした。数時間後も、ファイルは同じ方式を実装していました。AIは局所的な最小値に閉じ込められ、そこから抜け出せませんでした。 そこで諦めて、参加することに決めました。少し考えて、約500トークンの短いプロンプトを書き、具体的な指示を書きました。「XをYに置き換え、Zをこのように行う」。なぜかこの~3段落で何かがはっきりし、すぐに詰まりが解けて、約1時間30分ほどずっと動いたのに、戻ってきたファイルはほぼ2倍小さく、10%も速くなっていました。そしてそれは本当に美しく高品質なファイルでした つまり、教訓はこうです:現代のAIは自律的に進歩することはできません。監督なしで作業させておくと、彼らは動けなくなります。これがこれらの仕組みの根本的な制約です、少なくとも現時点では。しかし、数時間ごとに5〜10分かけてそれらを見直し、どこにいるのか理解し、人間の知識を注入すれば、彼らはただ膨大な作業を続け、驚くべき結果を生み出し、週末はゲームを楽しむことに費やし続けます 私の介入なしに彼らが抜け出すために何が足りないのか気になります。私のプロンプトには特別なものが何もなかったように感じます。そこに載っているすべてのアイデアはAIが知っている概念であり、彼ら自身が思いついたようなアイデアは間違いなく彼ら自身で考え出せたように感じられます。それでも、彼らは...なぜ? とにかく、来週後半にこのかわいいものをオープンソース化する予定です。多くの方にはあまり役に立つものではありませんが、もし世界最速の16ビットパターンマッチングエンジンを探しているなら、このファイルはまさにあなたが探していたものかもしれません!

「注意、これが最後の編集です」 気にしないでください、これが最後のタイプミスだと確信しています

ああ、くそ