1日あたり1兆トークン。それは多いですか? 「そして、Foundry APIによって提供されるトークンの数だけを絞って見ると、今四半期は100トン以上のトークンを処理し、前年比5倍に増加し、先月だけで記録的な50トンのトークンも含めました。」 4月、Microsoftは統計を共有し、Foundry製品が月に約1.7トンのトークンを処理していることを明らかにしました。 昨日、Vipul は毎日 2 トンのオープンソース推論を処理していると共有しました。 7月、Googleは驚異的な数字を発表しました。 「5月のI/Oで、私たちはサーフェス全体で毎月480兆のトークンを処理したと発表しました。それ以来、その数は倍増し、現在では毎月980兆以上のトークンを処理しており、これは目覚ましい増加です。」 Google は毎日 32.7 トンを処理しており、これは Together の 16 倍、Microsoft Foundry の 4 月の量の 574 倍です。 これらの図から、いくつかの仮説を導き出すことができます。 1. オープンソースの推論は推論の 1 桁の部分です。Google の推論トークンのうち、Gemma のようなオープンソース モデルからのものの割合は不明です。しかし、Anthropic と OpenAI が 1 日あたり 5t-10t のトークンであり、すべてクローズドソースであり、さらに Azure のサイズがほぼ同じであると仮定すると、オープンソースの推論は推論全体の約 1-3% になる可能性があります。 2. エージェントは早いです。Microsoft のデータ ポイントによると、GitHub、Visual Studio、Copilot Studio、Microsoft Fabric 内のエージェントは、Azure での AI 推論全体の 1% 未満に貢献しています。 3. 今年、GoogleのAIデータセンターインフラへの850億ドルの投資に対し、Microsoftは800億ドルを投資すると予想されており、各社のAI推論ワークロードは、ハードウェアのオンライン化とアルゴリズムの改善の両方を通じて大幅に増加するはずです。 「ソフトウェアの最適化だけで、同じGPUで1年前と比較して90%多くのトークンを配信しています。」 Microsoft は GPU からより多くのデジタル レモネードを絞り出しており、Google も同様のことをしているに違いありません。 1日あたり最初の10tまたは50tのAIトークンが処理されるのはいつですか?今、そう遠くないでしょう。 - 空中からの見積もり! - Google と Azure はそれぞれ 1 日あたり 33 トンのトークン、Together と他の 5 つのネオクラウドはそれぞれ 1 日あたり約 2 トンのトークン、Anthropic と OpenAI は 1 日あたり 5t トークンで、1 日あたり 88 トンのトークンが得られます。Google のトークンの 5% がオープンソース モデルからのものであると仮定すると、1 日あたり 1.65 トンのトークン、つまり推論全体の約 1.9% になります。繰り返しになりますが、非常に大まかな計算です