我之前在寫這個，但看到 @anton_d_leicht 先我一步（而且做得更好！）。 所以我就添加一些我未完成的想法，有些與他的重疊： ----- 我寫了相當多關於更先進的人工智慧即將到來的內容。但雖然我仍然認為在接下來的二十年裡我們可能會得到類似 "AGI "的東西，我也認為在此期間我們可能會經歷一個 "人工智慧寒冬"。那麼為什麼不寫一下呢？ 我認為這很重要，因為以下原因： – 人工智慧寒冬可能不會對我們在長期（幾十年而不是幾年）內是否朝著 AGI 方向發展提供很有信息量的指示。 – 大多數人會將人工智慧寒冬視為對 AGI 可行性非常有信息量的指示。 – 重要的結果是 AGI，而不是在此之前是否有人工智慧寒冬。 大多數人的（以及政策制定者的）看法很重要。人工智慧寒冬（以及隨之而來的投資泡沫破裂）可能會創造一個時期，在此期間，任何關於未來先進人工智慧的風險和收益的討論都變得極其敏感。如果朝向通用智能的核心趨勢繼續，而我們在政策上沒有取得進展，我們將有更少的時間積極塑造人工智慧的發展。 想像一下這個悲觀的場景：年份是 2028 年。曾經有效的東西不再有效。預訓練的規模化在 2025 年開始產生強烈的遞減收益。推理的規模化也隨之而來。合成數據曾經有效，但只使模型在新的上限附近收斂。發生了一些進一步的創新，使 LLMs 更加智能和有用。但它們仍然只是 LLMs，比較脆弱，並不太擅長自動化工作，即使在自動化寫作任務方面還可以。代理的進展比預期的要慢。事實證明，從文本中進行自我監督學習是一種特別容易生成的訓練信號。計算機使用中的自我監督學習和強化學習則更難以正確設置。人們正在進行巨大的模擬並在其中訓練代理，但這些代理的泛化能力相對較差。人們指著像 AI 2027 這樣的事情，看到“期望”和現實之間的巨大差距，便說這一切都是炒作。人工智慧實驗室再也無法為巨大的訓練運行辯護；計算能力只是在為越來越小的邊際改進而浪費。也許我們在上下文長度和持續學習方面有了一些突破，但這些還不夠。對人工智慧的投資暴跌。因此，研發也下降。談論人工智慧的未來變得敏感。任何關於未來能力的猜測都被“現實主義者”淹沒，他們指出過去幾年令人失望的進展。 在這個場景中，2028 年，這對許多人（大多數人？）來說看起來像是故事的結束。人工智慧很好，但它永遠只會好到這個程度。就這樣。這意味著沒有 AGI，沒有變革性的影響，沒有黃金時代的進步，當然，也沒有比深度偽造更糟糕的風險。 但人工智慧寒冬會持續多久？ 它可能會永遠持續，或者至少需要幾十年。與 20 世紀初的趨勢相比，我們可能會達到一個根本限制。專家們最終告訴我們，腦-GPU 類比過於粗糙——我們都已經知道這一點——但事實證明，這些差異對於從文本預測器轉變為通用代理是重要的。或者我們需要大腦中的量子過程來生成一個有意識的注意焦點，而這——事實證明——是獲得最高階功能所必需的。或者說並不是量子過程本身，而是大腦提供的高度互聯的“硬體”，可以在 GPU 進行的主要並行處理上進行模擬。但事實證明，這些模擬還不夠，我們實際上需要神經形態晶片來創建有能力的代理，而這些晶片在未來五十年內都不會出現。 你不需要認為這些特定的失敗故事是可信的，就可以認為我們可能在 AGI 配方中缺少某種成分，而這個成分在本世紀可能很難或不可能獲得，就像在之前的每一個世紀一樣。 不過，人工智慧寒冬也可能很短。我們已經習慣於能力的階躍式增長，在大型訓練運行之間幾乎沒有令人印象深刻的更新。如果幾次訓練運行沒有按預期進行，這只是意味著我們將陷入一個更長的平穩期，而下一步變化的成分正在組裝並積累到必要的閾值。儘管如此，超出預期的乏善可陳的進展可能會觸發許多相同的更長寒冬的過程。 “規模法則”是一種經驗觀察，而不是關於世界的固有事實。這些趨勢絕對可以結束或顯著放慢。因為大多數人——尤其是大多數不關注人工智慧進展的“外部人士”——往往低估這些趨勢的重要性，從事人工智慧工作的人有時會受到負面影響，變得過於絕對（這裡諷刺地）[關於規模法則的預測能力。是的，我們可能正處於人工智慧能力的另一個摩爾定律[情境中。但許多看似穩定的趨勢隨著時間的推移而停止——我們記住摩爾定律正是因為它是例外。 最後，可能根本不會出現人工智慧寒冬。儘管每當人工智慧似乎要撞牆時都會有常規的“恐慌”，但我們可能會得到一個不斷改善的人工智慧前沿，正好在突破它之前。或者我們可能會在許多“泡沫”公司和較小的人工智慧初創公司破裂時獲得一個改善的前沿。 總結是：有一個朝向越來越通用智能的潛在核心趨勢。而正是這個趨勢才重要。不是 LLMs 是否能帶我們到達那裡，或者我們是否會在此期間經歷一個臨時的人工智慧寒冬。 我們的腦袋證明了通用推理者是可以實現的，而今天的人工智慧系統證明了我們的推理可以在高度複雜的領域中有用地被近似（無論它是否是“真實推理”）。我所概述的一些最悲觀的預測可能是正確的，比如達到機器智能的根本限制。但不斷增加的計算能力、訓練數據和成千上萬的天才在新算法上工作的壓力鍋似乎最終會導致先進的智能。如果我們想要正確地實現這一點，我們最好專注於這一點，而不是與之僅僅相關的結果。 在我們快速獲得變革性人工智慧的結果上投入大量精力和思考是有意義的。但不要選擇無關緊要的山丘去死。 說到這裡，如果泡沫真的破裂會發生什麼？Anthropic 會失敗嗎，連同其他沒有像 Google DeepMind 或 Meta 那樣多樣化收入的人工智慧實驗室？如果發生大規模出走，XAI 的員工會去哪裡？即使許多較小的初創公司和投資破產，至少一些前沿實驗室能否繼續推動前沿？我們最好試著弄清楚，就像我們試圖弄清楚假設趨勢繼續時該怎麼辦。如果你有想法，我的私信是開放的。