Сингулярное разложение — это всё, что вам нужно Это чрезвычайно элегантная статья о тонкой настройке моделей с крошечным количеством активных параметров. LoRA обновляет веса в низкоразмерном подпространстве с W' <- W + AB, где A и B — это высокие и широкие матрицы. Статья предлагает поворот: обновление с использованием W' <- W + USRV^T, где USV^T — это SVD весовой матрицы, а R — это крошечная обучаемая матрица. Удивительно, но это позволяет вам обучать персонализированные модели с хранением на 1500x меньше, чем у LoRA. Если ваша модель имеет 8B параметров, вы можете тонко настроить её с помощью всего лишь 3M параметров.