La descomposición de valores singulares es todo lo que necesita Este es un artículo extremadamente elegante sobre el ajuste fino de modelos con un pequeño número de parámetros activos. LoRA actualiza los pesos en un subespacio de baja dimensión con W' <- W + AB, donde A y B son matrices altas y anchas. El artículo propone un giro: actualizar usando W' <- W + USRV^T, donde USV^T es el SVD de la matriz de peso, y R es una matriz diminuta y entrenable. Sorprendentemente, esto le permite entrenar modelos personalizados con 1500 veces menos almacenamiento que LoRA. Si su modelo tiene parámetros 8B, puede ajustarlo con tan solo 3M parámetros.