Один трильйон токенів на день. Чи багато це? «І коли ми дивимося вузько на кількість токенів, які обслуговуються Foundry API, ми обробили понад 100 тонн токенів у цьому кварталі, що в 5 разів більше, ніж минулого року, включаючи рекордні 50 тонн токенів лише минулого місяця». У квітні Microsoft поділилася статистикою, яка показала, що їхній продукт Foundry обробляє близько 1,7 т токенів на місяць. Вчора Vipul поділився тим, що щодня обробляє 2 тонни висновків з відкритим вихідним кодом. У липні Google оголосив приголомшливу цифру: «На I/O у травні ми оголосили, що обробляємо 480 трильйонів щомісячних токенів на наших поверхнях. З тих пір ми подвоїли це число, тепер обробляючи понад 980 трильйонів токенів щомісяця, що є значним збільшенням». Google переробляє 32,7 т щодня, що в 16 разів більше, ніж Together, і в 574 рази більше, ніж квітневий обсяг Microsoft Foundry. З цих цифр можна зробити кілька гіпотез: 1. Висновок з відкритим вихідним кодом — це однозначна частка висновку. Незрозуміло, яка частка токенів логічного висновку Google походить від їхніх моделей з відкритим вихідним кодом, таких як Gemma. Але, якщо ми припустимо, що Anthropic & OpenAI мають 5-10 тонн токенів на день і всі вони мають закритий вихідний код, плюс Azure приблизно однаковий за розміром, то висновок з відкритого вихідного коду, ймовірно, становить близько 1-3% від загального висновку. 2. Агенти ранні. Дані Microsoft свідчать про те, що агенти GitHub, Visual Studio, Copilot Studio та Microsoft Fabric вносять менше 1% загального висновку про штучний інтелект в Azure. 3. Враховуючи, що цього року Microsoft планує інвестувати 80 мільярдів доларів США порівняно з 85 мільярдами доларів США Google в інфраструктуру центрів обробки даних зі штучним інтелектом, робочі навантаження на висновки ШІ кожної компанії має значно зрости як за рахунок підключення апаратного забезпечення, так і за рахунок алгоритмічних удосконалень. «Лише завдяки оптимізації програмного забезпечення ми доставляємо на 90% більше токенів для того ж графічного процесора порівняно з минулим роком». Microsoft вичавлює більше цифрового лимонаду зі своїх графічних процесорів, і Google, мабуть, також робить те саме. Коли ми побачимо перші 10 або 50 тонн AI токенів, оброблених за день? Зараз це не може бути за горами. - Оцінки з повітря! - Google & Azure по 33 т токенів на день кожен, Разом & 5 інших неохмар приблизно по 2 т токенів на день кожен, а Anthropic & OpenAI по 5 т токенів на день, дає нам 88 т токенів на день. Якщо ми припустимо, що 5% токенів Google належать моделям з відкритим вихідним кодом, це 1,65 т токенів на день, або приблизно 1,9% від загальної кількості висновків. Знову ж таки, дуже груба математика