Phân tích giá trị đơn là tất cả những gì bạn cần Đây là một bài báo cực kỳ tinh tế về việc tinh chỉnh các mô hình với một số lượng nhỏ các tham số hoạt động. LoRA cập nhật trọng số trên một không gian con có chiều thấp với W' <- W + AB, trong đó A và B là các ma trận cao và rộng. Bài báo đề xuất một cách tiếp cận mới: cập nhật bằng W' <- W + USRV^T, trong đó USV^T là phân tích giá trị đơn (SVD) của ma trận trọng số, và R là một ma trận nhỏ, có thể huấn luyện được. Thật bất ngờ, điều này cho phép bạn huấn luyện các mô hình cá nhân hóa với dung lượng lưu trữ ít hơn 1500 lần so với LoRA. Nếu mô hình của bạn có 8B tham số, bạn có thể tinh chỉnh với chỉ 3M tham số.