Un billón de tokens por día. ¿Es mucho? "Y cuando miramos de cerca solo la cantidad de tokens servidos por las API de Foundry, procesamos más de 100 billones de tokens este trimestre, 5 veces más año tras año, incluido un récord de 50 billones de tokens solo el mes pasado". En abril, Microsoft compartió una estadística, revelando que su producto Foundry está procesando alrededor de 1,7 billones de tokens por mes. Ayer, Vipul compartió que está procesando 2t de inferencia de código abierto diariamente. En julio, Google anunció un número asombroso : "En I/O en mayo, anunciamos que procesamos 480 billones de tokens mensuales en nuestras superficies. Desde entonces hemos duplicado ese número, procesando ahora más de 980 billones de tokens mensuales, un aumento notable". Google procesa 32,7 toneladas diarias, 16 veces más que Together y 574 veces más que el volumen de abril de Microsoft Foundry. De estas cifras, podemos extraer algunas hipótesis: 1. La inferencia de código abierto es una fracción de inferencia de un solo dígito. No está claro qué fracción de los tokens de inferencia de Google provienen de sus modelos de código abierto como Gemma. Pero, si asumimos que Anthropic y OpenAI son 5t-10t tokens por día y todos de código cerrado, además de que Azure es más o menos similar en tamaño, entonces la inferencia de código abierto es probable que sea alrededor del 1-3% de la inferencia total. 2. Los agentes llegan temprano. El punto de datos de Microsoft sugiere que los agentes dentro de GitHub, Visual Studio, Copilot Studio y Microsoft Fabric contribuyen con menos del 1% de la inferencia general de IA en Azure. 3. Dado que se espera que Microsoft invierta $ 80 mil millones en comparación con los $ 85 mil millones de Google en infraestructura de centros de datos de IA este año, las cargas de trabajo de inferencia de IA de cada compañía deberían aumentar significativamente tanto a través del hardware en línea como de las mejoras algorítmicas. "Solo a través de la optimización del software, estamos entregando un 90% más de tokens para la misma GPU en comparación con hace un año". Microsoft está exprimiendo más limonada digital de sus GPU y Google también debe estar haciendo algo similar. ¿Cuándo veremos los primeros 10 o 50 billones de tokens de IA procesados por día? No puede estar muy lejos ahora. - ¡Estimaciones de la nada! - Google y Azure a 33 billones de tokens por día cada uno, Together y otros 5 neoclouds a aproximadamente 2 billones de tokens por día cada uno, y Anthropic y OpenAI a 5 billones de tokens por día, nos da 88 billones de tokens por día. Si asumimos que el 5% de los tokens de Google provienen de modelos de código abierto, eso es 1.65t tokens por día, o aproximadamente el 1.9% de la inferencia total. De nuevo, matemáticas muy aproximadas