關於 AI 在自主進步的限制 背景：幾天前，我為一個 "NanoHVM" 寫了一個提示 - 這是我運行時的一個玩具版本，使用 16 位術語 - 並要求 AI 寫一個評估器。在幾輪人類與 AI 的合作後，我得到了意外快速的實現。 可惜，文件變得非常大且難看，所以我想讓它變小。我設置了一個 codex/claude/gemini 會話，並要求他們 "縮短它"。第一次提示有效，所以我不斷重複同樣的請求，持續了幾個小時。最終，AI 遇到了一個瓶頸。無論我怎麼要求，他們都無法將其縮短到某個閾值以下。 我想了解原因，所以我閱讀了文件。令我驚訝的是，它顯然不是最佳的 - 有大量的冗餘和糟糕的抽象 - 然而，它幾乎不再改變。一次又一次的提交，它仍然包含相同的技術、相同的方法和相同的冗餘。只有小的調整，但沒有進行重大重寫，而這是進一步獲得收益所需要的。因此，我要求 AI 就這樣做。 "這次做一次完整的重寫" "從根本上思考它" "你可以自由改變任何東西" "停止進行增量變更" "用全新的方法替換 X" 然而，這是徒勞的。這些通用請求根本沒有任何效果。幾個小時後，文件仍然實現了相同的方法。AI 被困在一個局部最小值中，無法擺脫。 所以，我放棄了，決定加入。我花了幾分鐘思考，寫了一個簡短的提示 - 大約 500 個標記長 - 具體指示。"用 Y 替換 X，以這種方式做 Z"。不知怎的，這大約 3 段文字讓某些東西點燃了，他們立即解開了困境，連續工作了約 1 小時 30 分鐘，並帶回了一個幾乎小了 2 倍 *且* 快了 10% 的文件。這是一個非常美麗、高品質的文件。 所以，我想教訓是：現代 AI 無法自主進步。如果你讓他們在無監督的情況下工作，他們會卡住。這是這些東西運作的基本限制，至少目前是這樣。然而，如果每幾個小時，你花 5-10 分鐘重新檢視他們，了解他們的狀況，並注入一些人類知識 - 那麼他們將不斷前進，做大量的工作並獲得驚人的結果，而你可以在週末玩一些遊戲。 我想知道他們缺少什麼才能在沒有我干預的情況下解開困境。感覺我的提示並沒有什麼特別之處。上面的所有想法都是這些 AI 知道的概念，感覺他們絕對可以自己想出這些想法。然而，他們就是不... 為什麼？ 無論如何，我計劃在下週晚些時候開源這個可愛的東西。對於你們中的大多數人來說，它並不完全有用，但如果你碰巧在尋找世界上最快的 16 位模式匹配引擎，這個文件可能正是你一直在尋找的！

"小心，這是你最後的編輯" 不用擔心，我相信那是最後的錯字

哦，操