Satu triliun token per hari. Apakah itu banyak? "Dan ketika kami melihat secara sempit hanya jumlah token yang dilayani oleh API Foundry, kami memproses lebih dari 100 ton token pada kuartal ini, naik 5x dari tahun ke tahun, termasuk rekor 50 juta token bulan lalu saja." Pada bulan April, Microsoft membagikan statistik, mengungkapkan produk Foundry mereka memproses sekitar 1,7 triliun token per bulan. Kemarin, Vipul membagikan sedang memproses 2 ton inferensi sumber terbuka setiap hari. Pada bulan Juli, Google mengumumkan jumlah yang mengejutkan: "Di I/O pada bulan Mei, kami mengumumkan bahwa kami memproses 480 triliun token bulanan di seluruh permukaan kami. Sejak itu kami telah menggandakan jumlah itu, sekarang memproses lebih dari 980 triliun token bulanan, peningkatan yang luar biasa." Google memproses 32,7 ton setiap hari, 16x lebih banyak dari Together & 574x lebih banyak dari volume April Microsoft Foundry. Dari angka-angka ini, kita dapat menarik beberapa hipotesis : 1. Inferensi sumber terbuka adalah fraksi inferensi satu digit. Tidak jelas berapa bagian dari token inferensi Google yang berasal dari model open source mereka seperti Gemma. Tapi, jika kita mengasumsikan Anthropic & OpenAI adalah token 5t-10t per hari & semua sumber tertutup, ditambah Azure kira-kira berukuran sama, maka inferensi sumber terbuka kemungkinan sekitar 1-3% dari total inferensi. 2. Agen lebih awal. Titik data Microsoft menunjukkan agen dalam GitHub, Visual Studio, Copilot Studio, & Microsoft Fabric berkontribusi kurang dari 1% dari keseluruhan inferensi AI di Azure. 3. Dengan Microsoft yang diperkirakan akan menginvestasikan $80 miliar dibandingkan dengan $85 miliar Google dalam infrastruktur pusat data AI tahun ini, beban kerja inferensi AI dari setiap perusahaan akan meningkat secara signifikan baik melalui perangkat keras yang online & peningkatan algoritmik. "Melalui pengoptimalan perangkat lunak saja, kami memberikan 90% lebih banyak token untuk GPU yang sama dibandingkan dengan tahun lalu." Microsoft memeras lebih banyak limun digital dari GPU mereka & Google juga harus melakukan hal serupa. Kapan kita akan melihat token AI 10t atau 50t pertama diproses per hari? Tidak mungkin jauh sekarang. - Perkiraan dari udara tipis! - Google & Azure masing-masing 33t token per hari, Together & 5 neocloud lainnya masing-masing dengan sekitar 2t token per hari, & Anthropic & OpenAI dengan 5t token per hari, memberi kita 88t token per hari. Jika kita berasumsi 5% token Google berasal dari model sumber terbuka, itu berarti 1,65 triliun token per hari, atau sekitar 1,9% dari total inferensi. Sekali lagi, matematika yang sangat kasar