تحلل القيمة المفردة هو كل ما تحتاجه هذه ورقة أنيقة للغاية على نماذج الضبط الدقيق مع عدد صغير من المعلمات النشطة. يقوم LoRA بتحديث الأوزان على مساحة فرعية منخفضة الأبعاد باستخدام W ' <- W + AB, حيث A و B عبارة عن مصفوفات طويلة وعريضة. تقترح الورقة تطورا: التحديث باستخدام W '<- W + USRV ^ T ، حيث USV ^ T هو SVD لمصفوفة الوزن ، و R عبارة عن مصفوفة صغيرة قابلة للتدريب. من المثير للدهشة أن هذا يتيح لك تدريب النماذج المخصصة بسعة تخزين أقل بمقدار 1500 مرة من LoRA. إذا كان النموذج الخاص بك يحتوي على معلمات 8B ، فيمكنك الضبط بدقة بأقل من 3M معلمات.