NVIDIA baru saja menjatuhkan makalah banger tentang bagaimana mereka mengompresi model dari 16-bit ke 4-bit dan mampu mempertahankan akurasi 99,4%, yang pada dasarnya lossless.
Ini harus dibaca. Tautan di bawah ini.
teman saya @neuralkian baru saja menjatuhkan kursus paralelisme pipa secara GRATIS! Inilah yang akan Anda kerjakan oleh Frontier Labs dalam skala besar untuk mempercepat pelatihan dan inferensi pada model besar. Anda akan mulai dengan contoh sederhana komputasi tumpang tindih pada MLP kecil, dan bekerja dari sana!