Andrew Ng刚刚揭示了为什么那些在问题上投入最多计算资源的AI公司将会失败。 智能竞赛的赢家不会使用最多的计算资源。 他们会浪费最少。 Ng说：“你们的大多数高维数据都位于一个低维子空间。这是生活的事实。” 这在实践中意味着什么。 你有一个10,000维的数据集。 每个维度都经过每一次计算。 每个训练周期都拖着模型永远不会使用的死重。 Ng说：“你在整个训练过程中都在携带这些10,000维的示例。” 这种膨胀不仅仅是低效。 它是你运行的每次计算的税。 内存带宽。网络带宽。计算速度。 所有这些都被那些对智能没有贡献的维度吞噬。 它们贡献的是噪声。 将建筑师与军备竞赛分开的洞察：那个10,000维的数据集几乎完全被一个更小的子空间所捕获。 ...