A decomposição de valor singular é tudo o que você precisa Este é um artigo extremamente elegante sobre modelos de ajuste fino com um pequeno número de parâmetros ativos. LoRA atualiza pesos em um subespaço de baixa dimensão com W' <- W + AB, onde A e B são matrizes altas e largas. O artigo propõe uma reviravolta: atualização usando W' <- W + USRV^T, onde USV^T é o SVD da matriz de peso e R é uma matriz minúscula e treinável. Surpreendentemente, isso permite treinar modelos personalizados com 1500x menos armazenamento do que LoRA. Se o seu modelo tiver parâmetros 8B, você poderá ajustar com apenas 3M parâmetros.