🚨 NVIDIA gjorde bara det omöjliga. De tränade en språkmodell med 12 B-parametrar på 10 biljoner tokens helt och hållet med 4-bitars precision. Det kallas NVFP4, och det kan omdefiniera hur avancerade AI-modeller tränas. Här är varför detta är viktigt: • NVFP4 ger 2–3 × snabbare matematisk genomströmning och 50 % mindre minne jämfört med FP8 •Noggrannhet? Praktiskt taget identiska. (MMLU-Pro: FP8 = 62,62 %, NVFP4 = 62,58 %) • Problem med stabiliteten? Löses med hjälp av slumpmässiga Hadamard-transformer, stokastisk avrundning och 2D-skalning • Tränad helt på NVIDIA Blackwell GPU:er, den första 4-bitars körningen är stabil över 10T-tokens Det här är den första lyckade demonstrationen av storskalig 4-bitars förträning utan att förlora noggrannhet. Nästa generation av Frontier-modeller kommer att vara snabbare, billigare och grönare utan kompromisser.