Эндрю Нг только что раскрыл, почему компании ИИ, которые тратят больше всего вычислительных ресурсов на решение проблемы, проиграют. Победитель гонки интеллекта не будет использовать больше всего вычислений. Они потратят меньше всего. Нг: "Большая часть ваших высокоразмерных данных находится в низкоразмерном подпространстве. Это просто факт жизни." Вот что это значит на практике. У вас есть набор данных размерностью 10,000. Каждое измерение проходит через каждое вычисление. Каждый цикл обучения тянет за собой мертвый груз, который модель никогда не использует. Нг: "Вы носите с собой эти 10,000-мерные примеры на протяжении всего процесса обучения." Этот избыток не только неэффективен. Это налог на каждое вычисление, которое вы выполняете. Пропускная способность памяти. Пропускная способность сети. Скорость вычислений. Все это поглощается измерениями, которые не вносят ничего в интеллект. Они вносят шум. Инсайт, который отделяет архитекторов от гонки вооружений: этот 10,000-мерный набор данных почти полностью захвачен гораздо меньшим подпространством. ...