Singular värdenedbrytning är allt du behöver Detta är en extremt elegant artikel om finjusterande modeller med ett litet antal aktiva parametrar. LoRA uppdaterar vikter på ett lågdimensionellt underrum med W' <- W + AB, där A och B är höga och breda matriser. Dokumentet föreslår en twist: uppdatering med W' <- W + USRV^T, där USV^T är SVD för viktmatrisen och R är en liten, träningsbar matris. Överraskande nog låter detta dig träna personliga modeller med 1500 gånger mindre lagringsutrymme än LoRA. Om din modell har 8B-parametrar kan du finjustera med så lite som 3M-parametrar.