La décomposition en valeurs singulières est tout ce dont vous avez besoin C'est un article extrêmement élégant sur le réglage fin des modèles avec un très petit nombre de paramètres actifs. LoRA met à jour les poids dans un sous-espace de faible dimension avec W' <- W + AB, où A et B sont des matrices hautes et larges. L'article propose une variante : mettre à jour en utilisant W' <- W + USRV^T, où USV^T est la SVD de la matrice de poids, et R est une petite matrice entraînable. Étonnamment, cela vous permet d'entraîner des modèles personnalisés avec 1500 fois moins de stockage que LoRA. Si votre modèle a 8 milliards de paramètres, vous pouvez le régler finement avec aussi peu que 3 millions de paramètres.