Enkeltverdidekomponering er alt du trenger Dette er en ekstremt elegant artikkel om finjustering av modeller med et lite antall aktive parametere. LoRA oppdaterer vekter på et lavdimensjonalt underrom med W' <- W + AB, der A og B er høye og brede matriser. Artikkelen foreslår en vri: oppdatering ved hjelp av W' <- W + USRV^T, der USV^T er SVD for vektmatrisen, og R er en liten, trenbar matrise. Overraskende, dette lar deg trene personlige modeller med 1500 ganger mindre lagringsplass enn LoRA. Hvis modellen din har 8B-parametere, kan du finjustere med så lite som 3M-parametere.