لقد نشرت للتو دفتر ملاحظات موجزا خطوة بخطوة يوضح كيفية إنشاء LLM مخصص ل @crewAIInc يستدعي واجهة برمجة تطبيقات الرسائل الخاصة @AnthropicAI وينفذ التخزين المؤقت الفوري. حسنا ، ما هو التخزين المؤقت الفوري ومتى يجب عليك استخدامه في طاقمك؟ إنها طريقة لتخزين الجزء الطويل والمتكرر من مطالبتك (عادة سياق النظام) بين استدعاءات واجهة برمجة التطبيقات. ترسله مرة واحدة ، ثم تعيد المكالمات اللاحقة استخدامه ؛ خفض تكلفة المدخلات بنسبة ~ 90٪ وتسريع الوقت للوصول إلى الرمز المميز الأول بنسبة ~ 85٪ للمطالبات الطويلة ، طالما بقيت محتوى النظام + النموذج + الرؤوس كما هي وأنت ضمن TTL (افتراضي 5 ملايين ، 1 ساعة تجريبية). هذا يعمل بشكل رائع مع الأطقم الثرثارة متعددة الأدوار. مفيد أيضا في أي وقت يعيد فيه طاقمك استخدام سياق نظام طويل ومستقر عبر المهام (فكر: الكتيب والمواصفات وملخص قاعدة التعليمات البرمجية). إذا كان نظامك / السياق يغير كل مكالمة ، فلن يساعد التخزين المؤقت كثيرا. يستخدم كتاب الطبخ "فرانكشتاين" من مشروع جوتنبرج لتوضيح التخزين المؤقت بسياق حقيقي وطويل. الرسم البياني أدناه: أول تشغيل يكتب إلى ذاكرة التخزين المؤقت ؛ تتم قراءة عمليات التشغيل اللاحقة من ذاكرة التخزين المؤقت عندما يتطابق محتوى النظام والنموذج والرؤوس داخل TTL. الريبو + دفتر الملاحظات في التعليقات.