アンドリュー・ンは、この問題に最も多くの計算を投入するAI企業がなぜ敗北するのかを明かしました。 知能競争の勝者は最も多くの計算資源を使わない。 無駄遣いは最小限です。 Ng:「あなたの高次元データのほとんどは低次元の部分空間にあります。それはただの現実なんだ。」 これが実際に意味することは以下の通りです。 10,000次元データセットがあります。 あらゆる次元が計算を重ねた。 モデルが使わない重りを運ぶトレーニングサイクルは毎回です。 Ng:「トレーニングの過程で、1万次元の例を持ち歩いているんですよね。」 その膨張は単に非効率なだけではありません。 計算するたびに課税がかかるのです。 メモリ帯域幅。ネットワーク帯域幅。計算速度。 すべてが知性に何の貢献もしない次元に食い尽くされてしまいます。 それらはノイズの原因となります。 建築家と軍拡競争を分ける洞察は、その10,000次元データセットがほぼ完全にはるかに小さなサブスペースに収められていることです。 ...