Я писал что-то на эту тему, но вижу, что @anton_d_leicht опередил меня (и сделал это гораздо лучше!). Поэтому я просто добавлю свои незавершенные мысли, некоторые из которых пересекаются с его: ----- Я написал довольно много о приходе более продвинутого ИИ. Но хотя я все еще думаю, что вероятно, мы получим что-то вроде "AGI" в следующие два десятилетия, я также думаю, что вероятно, мы столкнемся с чем-то вроде "зимы ИИ" между ними. Так почему бы не написать об этом тоже? Я думаю, это важно, по следующим причинам: – Зима ИИ может НЕ быть очень информативной о том, движемся ли мы в долгосрочной перспективе (десятилетия вместо лет) к чему-то вроде AGI. – Большинство людей ВИДЯТ зиму ИИ как очень информативную о целесообразности AGI. – Результат, который имеет значение, это AGI, а не то, будет ли зима ИИ перед этим. Восприятие большинства людей (и политиков) имеет значение. Зима ИИ (и последующий обвал инвестиционного пузыря) может создать период времени, когда любые разговоры о рисках и преимуществах будущего продвинутого ИИ станут совершенно радиоактивными. Если основная тенденция к общему интеллекту продолжится, в то время как мы не будем добиваться прогресса в политике, у нас будет меньше времени, чтобы положительно сформировать развитие ИИ [ Представьте себе этот пессимистичный сценарий: год 2028. То, что раньше работало, больше не работает. Масштабирование предварительного обучения начало давать сильно убывающую отдачу в 2025 году. Масштабирование вывода последовало за этим. Синтетические данные работали какое-то время, но только заставили модели сходиться к новому потолку. Произошло несколько дальнейших инноваций, сделавших LLM более умными и полезными. Но они все еще просто LLM, довольно хрупкие и не очень хороши в автоматизации рабочих мест, даже если неплохи в автоматизации письменных задач. Агенты развиваются медленнее, чем ожидалось. Оказалось, что самообучение на текстах было особенно легким сигналом для обучения. Самообучение в использовании компьютеров и RL гораздо сложнее правильно настроить. Люди создают огромные симуляции и обучают агентов в них, но они относительно плохо обобщаются. Люди указывают на такие вещи, как ИИ 2027 года, и видят такую разницу между "ожиданием" и реальностью, что говорят, что это был всего лишь хайп. ИИ-лаборатории больше не могут оправдать огромные запуски обучения; вычислительные мощности просто тратятся впустую на все меньшие предельные улучшения. Возможно, у нас были несколько прорывов в длине контекста и непрерывном обучении, но этого недостаточно. Инвестиции в ИИ падают. Так что НИОКР тоже падает. Разговоры о будущем ИИ становятся радиоактивными. Любая спекуляция о будущих возможностях затопляется "реалистами", которые указывают на последние несколько лет разочаровывающего прогресса. В этом сценарии, в 2028 году, это будет выглядеть для многих (большинства?) как конец истории. ИИ хорош, но он всегда был только таким хорошим. И все. Это означает отсутствие AGI, отсутствие трансформационных воздействий, отсутствие золотого века прогресса и, конечно, отсутствие рисков хуже, чем дипфейки. Но как долго может длиться зима ИИ? Возможно, она продлится вечно, или, по крайней мере, займет несколько десятилетий. Против шансов, выведенных из тенденций начала 20 века, мы можем достичь фундаментального предела. Эксперты в конечном итоге сообщают нам, что аналогия между мозгом и GPU была слишком грубой — что мы все уже знали — но оказывается, что различия имеют значение для перехода от предсказателя текста к общему агенту. Или нам нужны квантовые процессы в мозге, чтобы создать сознательный фокус внимания, который, как оказывается, был необходим для достижения самого высокого уровня функционирования. Или это не квантовые процессы как таковые, а высоко взаимосвязанное "аппаратное обеспечение", которое предоставляет мозг, которое можно смоделировать в основном параллельной обработке, которую выполняют GPU. Но, как оказывается, эти симуляции недостаточны, и нам действительно нужны нейроморфные чипы, чтобы создать способных агентов, и они не будут доступны еще в течение пяти десятилетий. Вам не нужно думать, что какие-либо из этих конкретных историй о неудачах правдоподобны, чтобы думать, что мы можем упустить какой-то ингредиент в рецепте AGI, и этот ингредиент может быть труднодоступным или невозможным для получения в этом веке, так же как это было в каждом веке до этого. Зима ИИ также может быть короткой. Мы уже привыкли к резкому увеличению возможностей, когда мы получаем несколько впечатляющих обновлений между большими запусками обучения. Если несколько запусков обучения не оправдают ожиданий, это просто означает, что мы застрянем на гораздо более длительном плато, пока ингредиенты для следующего скачка собираются и накапливаются до необходимого порога. Тем не менее, более длительный, чем ожидалось, период неудовлетворительного прогресса может вызвать многие из тех же процессов более длительной зимы. "Законы масштабирования" — это эмпирическое наблюдение, а не врожденный факт о мире. Тенденции могут абсолютно закончиться или значительно замедлиться. Поскольку большинство людей — и особенно большинство "внешних" людей, не следящих за прогрессом ИИ — склонны недооценивать важность этих тенденций, люди, работающие над ИИ, иногда становятся негативно поляризованными и становятся слишком абсолютными (здесь сатирически) [ относительно предсказательной силы законов масштабирования. Да, мы могли бы оказаться в другой ситуации закона Мура [ с возможностями ИИ. Но многие, казалось бы, стабильные тенденции останавливаются со временем — мы помним закон Мура именно потому, что он исключителен. Наконец, может и не быть [ зимы ИИ вообще. Мы можем получить постоянно улучшающийся фронт ИИ, несмотря на регулярные "испугивания", когда ИИ, кажется, сталкивается со стеной прямо перед тем, как пробить ее. Или мы можем получить улучшающийся фронт, когда пузырь для оберток компаний и меньших стартапов ИИ лопается. Суть в том, что существует основная тенденция [ к все более общему интеллекту. И именно эта тенденция имеет значение. Не то, достигнут ли LLM, или достигнем ли мы этого с временной зимой ИИ между ними. Наши мозги — это доказательство того, что общие рассуждатели достижимы, а сегодняшние системы ИИ — это доказательство того, что наше рассуждение может быть полезно аппроксимировано (независимо от того, является ли это "реальным рассуждением") в высоко сложных областях. Возможно, некоторые из самых пессимистичных предсказаний, которые я изложил выше, верны, например, достижение фундаментальных пределов машинного интеллекта. Но давление, создаваемое экспоненциально увеличивающимися вычислительными мощностями, обучающими данными и тысячами гениев, работающих над новыми алгоритмами, в конечном итоге, похоже, приводит к продвинутому интеллекту. И если мы хотим сделать это правильно, нам лучше сосредоточиться на этом, а не на результатах, которые просто коррелируют с этим. Имеет смысл вложить много усилий и мыслей в результаты, где мы действительно получаем трансформационный ИИ быстро. Но не выбирайте неуместные холмы, на которых стоит умереть [ Говоря об этом, что произойдет, если пузырь лопнет? Провалится ли Anthropic, наряду с другими лабораториями ИИ, которые не имеют более диверсифицированного дохода, как Google DeepMind или Meta? Куда пойдут сотрудники XAI, если произойдет большой исход? Смогут ли хотя бы некоторые из передовых лабораторий продолжать продвигать фронт, даже если многие из меньших стартапов и инвестиций обанкротятся? Нам лучше попытаться это выяснить, так же как мы пытаемся понять, что делать, предполагая, что тенденции продолжаются. Если у вас есть идеи, мои ДМ открыты.