🚨 NVIDIA hanya melakukan hal yang mustahil. Mereka melatih model bahasa parameter 12B pada 10 triliun token seluruhnya dengan presisi 4-bit. Ini disebut NVFP4, dan mungkin mendefinisikan ulang bagaimana model AI perbatasan dilatih. Inilah mengapa ini penting: • NVFP4 memberikan throughput matematika 2–3× lebih cepat dan memori 50% lebih sedikit dibandingkan FP8 •Ketepatan? Praktis identik. (MMLU-Pro: FP8 = 62.62%, NVFP4 = 62.58%) • Masalah stabilitas? Diselesaikan menggunakan transformasi Hadamard Acak, pembulatan stokastik, dan penskalaan 2D • Dilatih sepenuhnya pada GPU NVIDIA Blackwell, 4-bit pertama berjalan stabil di seluruh token 10T Ini adalah demonstrasi pertama yang berhasil dari prapelatihan 4-bit skala besar tanpa kehilangan akurasi. Model perbatasan generasi berikutnya akan lebih cepat, lebih murah, dan lebih ramah lingkungan tanpa kompromi.