La decomposizione ai valori singolari è tutto ciò di cui hai bisogno Questo è un documento estremamente elegante sulla messa a punto dei modelli con un numero ridotto di parametri attivi. LoRA aggiorna i pesi su uno spazio a bassa dimensione con W' <- W + AB, dove A e B sono matrici alte e larghe. Il documento propone una variazione: aggiornare usando W' <- W + USRV^T, dove USV^T è la SVD della matrice dei pesi, e R è una piccola matrice addestrabile. Sorprendentemente, questo ti consente di addestrare modelli personalizzati con 1500 volte meno spazio di archiviazione rispetto a LoRA. Se il tuo modello ha 8 miliardi di parametri, puoi fare il fine-tuning con appena 3 milioni di parametri.