Singuliere waarde decompositie is alles wat je nodig hebt Dit is een extreem elegant paper over het fijn afstemmen van modellen met een klein aantal actieve parameters. LoRA werkt de gewichten bij in een laag-dimensionale subruimte met W' <- W + AB, waarbij A en B lange en brede matrices zijn. Het paper stelt een wending voor: bijwerken met W' <- W + USRV^T, waarbij USV^T de SVD van de gewichtmatrix is, en R een kleine, trainbare matrix is. Verrassend genoeg laat dit je toe om gepersonaliseerde modellen te trainen met 1500x minder opslag dan LoRA. Als je model 8B parameters heeft, kun je fijn afstemmen met zo weinig als 3M parameters.