Descompunerea valorii singulare este tot ce aveți nevoie Aceasta este o lucrare extrem de elegantă despre reglarea fină a modelelor cu un număr mic de parametri activi. LoRA actualizează ponderile pe un subspațiu de dimensiuni joase cu W' <- W + AB, unde A și B sunt matrice înalte și late. Lucrarea propune o întorsătură: actualizare folosind W' <- W + USRV^T, unde USV^T este SVD matricei de greutate, iar R este o matrice mică, care poate fi antrenată. În mod surprinzător, acest lucru vă permite să antrenați modele personalizate cu 1500 de ori mai puțin spațiu de stocare decât LoRA. Dacă modelul tău are parametri 8B, poți regla fin cu parametri 3M.