Yksittäisen arvon hajottaminen on kaikki mitä tarvitset Tämä on erittäin tyylikäs paperi hienosäätömalleista, joissa on pieni määrä aktiivisia parametreja. LoRA päivittää painot matalaulotteisessa aliavaruudessa W' <- W + AB, jossa A ja B ovat korkeita ja leveitä matriiseja. Artikkelissa ehdotetaan käännettä: päivitys käyttämällä W' <- W + USRV^T, jossa USV^T on painomatriisin SVD ja R on pieni, harjoiteltava matriisi. Yllättäen, tämän avulla voit kouluttaa henkilökohtaisia malleja 1500 kertaa pienemmällä tallennustilalla kuin LoRA. Jos mallissasi on 8B-parametrit, voit hienosäätää jopa 3M-parametreilla.