Dekomposisi nilai tunggal adalah semua yang Anda butuhkan Ini adalah makalah yang sangat elegan tentang penyetelan model dengan sejumlah kecil parameter aktif. LoRA memperbarui bobot pada subruang dimensi rendah dengan W' <- W + AB, di mana A dan B adalah matriks tinggi dan lebar. Makalah ini mengusulkan twist: update menggunakan W' <- W + USRV^T, di mana USV^T adalah SVD dari matriks berat, dan R adalah matriks kecil yang dapat dilatih. Anehnya, ini memungkinkan Anda melatih model yang dipersonalisasi dengan penyimpanan 1500x lebih sedikit daripada LoRA. Jika model Anda memiliki parameter 8B, Anda dapat menyempurnakan dengan parameter sedikitnya 3M.