Andrew Ng 剛剛揭示了為什麼那些在問題上投入最多計算資源的 AI 公司將會失敗。 智力競賽的贏家不會使用最多的計算資源。 他們會浪費最少。 Ng 說：「你們的大多數高維數據都位於一個低維子空間中。這是生活的事實。」 這在實踐中意味著什麼。 你有一個 10,000 維的數據集。 每一維都經過每一個計算。 每一個訓練周期都拖著模型永遠不會使用的死重。 Ng 說：「你在整個訓練過程中都在攜帶這些 10,000 維的例子。」 這種膨脹不僅僅是低效。 它是你運行的每一個計算的稅。 內存帶寬。網絡帶寬。計算速度。 所有這些都被那些對智力毫無貢獻的維度吞噬。 它們貢獻的是噪音。 將建築師與軍備競賽分開的洞察：那個 10,000 維的數據集幾乎完全被一個更小的子空間捕捉。 ...