Die singuläre Wertzerlegung ist alles, was Sie brauchen Dies ist ein äußerst elegantes Papier über das Feintuning von Modellen mit einer winzigen Anzahl aktiver Parameter. LoRA aktualisiert Gewichte in einem niederdimensionalen Unterraum mit W' <- W + AB, wobei A und B hohe und breite Matrizen sind. Das Papier schlägt eine Wendung vor: Aktualisierung mit W' <- W + USRV^T, wobei USV^T die SVD der Gewichtsmatrix ist und R eine winzige, trainierbare Matrix ist. Überraschenderweise ermöglicht dies, personalisierte Modelle mit 1500x weniger Speicherplatz als LoRA zu trainieren. Wenn Ihr Modell 8B Parameter hat, können Sie mit nur 3M Parametern feintunen.