🚨 NVIDIA imkansızı başardı. 12B parametreli bir dil modelini 10 trilyon token üzerinde tamamen 4 bit hassasiyetle eğittiler. Buna NVFP4 adı veriliyor ve sınır yapay zeka modellerinin nasıl eğitildiğini yeniden tanımlayabilir. İşte bunun neden önemli olduğu: • NVFP4, FP8'e kıyasla ×2-3 daha hızlı matematik verimi ve %50 daha az bellek sunar •Doğruluk? Pratik olarak aynı. (MMLU-Pro: FP8 = %62,62, NVFP4 = %62,58) • Kararlılık sorunları? Rastgele Hadamard dönüşümleri, stokastik yuvarlama ve 2B ölçeklendirme kullanılarak çözüldü • Tamamen NVIDIA Blackwell GPU'lar üzerinde eğitilen ilk 4 bit, 10T belirteçte kararlı çalışır Bu, doğruluğu kaybetmeden büyük ölçekli 4 bitlik ön eğitimin ilk başarılı gösterimidir. Yeni nesil sınır modelleri ödün vermeden daha hızlı, daha ucuz ve daha çevreci olacak.