La descomposición en valores singulares es todo lo que necesitas Este es un artículo extremadamente elegante sobre el ajuste fino de modelos con un número muy reducido de parámetros activos. LoRA actualiza los pesos en un subespacio de baja dimensión con W' <- W + AB, donde A y B son matrices altas y anchas. El artículo propone un giro: actualizar usando W' <- W + USRV^T, donde USV^T es la SVD de la matriz de pesos, y R es una matriz pequeña y entrenable. Sorprendentemente, esto te permite entrenar modelos personalizados con 1500 veces menos almacenamiento que LoRA. Si tu modelo tiene 8B parámetros, puedes ajustar con tan solo 3M parámetros.