Один триллион токенов в день. Это много? "И когда мы смотрим узко на количество токенов, обрабатываемых API Foundry, мы обработали более 100 триллионов токенов в этом квартале, что на 5 раз больше по сравнению с прошлым годом, включая рекордные 50 триллионов токенов только в прошлом месяце." В апреле Microsoft поделилась статистикой, раскрывающей, что их продукт Foundry обрабатывает около 1,7 триллиона токенов в месяц. Вчера Vipul сообщил, что обрабатывает 2 триллиона открытых источников вывода ежедневно. В июле Google объявила о потрясающем числе: "На I/O в мае мы объявили, что обрабатываем 480 триллионов токенов в месяц на наших платформах. С тех пор мы удвоили это число, теперь обрабатываем более 980 триллионов токенов в месяц, что является замечательным увеличением." Google обрабатывает 32,7 триллиона ежедневно, что в 16 раз больше, чем Together, и в 574 раза больше, чем объем Microsoft Foundry в апреле. Из этих цифр мы можем сделать несколько гипотез: 1. Открытый вывод является однозначной долей вывода. Неясно, какая доля токенов вывода Google поступает из их моделей с открытым исходным кодом, таких как Gemma. Но если предположить, что Anthropic и OpenAI обрабатывают 5-10 триллионов токенов в день и все закрыты, плюс Azure примерно такого же размера, то открытый вывод, вероятно, составляет около 1-3% от общего вывода. 2. Агенты находятся на ранней стадии. Данные Microsoft предполагают, что агенты в GitHub, Visual Studio, Copilot Studio и Microsoft Fabric вносят менее 1% в общий AI вывод на Azure. 3. Ожидается, что Microsoft инвестирует 80 миллиардов долларов по сравнению с 85 миллиардами долларов Google в инфраструктуру AI дата-центров в этом году, поэтому рабочие нагрузки AI вывода каждой компании должны значительно увеличиться как за счет появления нового оборудования, так и за счет алгоритмических улучшений. "Только за счет оптимизации программного обеспечения мы обеспечиваем на 90% больше токенов для того же GPU по сравнению с прошлым годом." Microsoft выжимает больше цифрового лимонада из своих GPU, и Google, вероятно, делает что-то подобное. Когда мы увидим первые 10 или 50 триллионов AI токенов, обработанных в день? Это не может быть далеко. - Оценки с потолка! - Google и Azure по 33 триллиона токенов в день каждый, Together и 5 других неоклаудов по примерно 2 триллиона токенов в день каждый, и Anthropic и OpenAI по 5 триллионов токенов в день, дают нам 88 триллионов токенов в день. Если предположить, что 5% токенов Google поступают из моделей с открытым исходным кодом, это 1,65 триллиона токенов в день, или примерно 1,9% от общего вывода. Снова очень грубая математика.