🧑 ⚖️ Multi-Agent Legal Assistant — bleskově rychlý RAG. Tato ukázka, poháněná CrewAI, se dotazuje 50M+ vektorů za <30 ms pomocí binární kvantizace, aby poskytla citované právní odpovědi. Postaveno společností @akshay_pachaar.

Právě jsem publikoval stručný, podrobný poznámkový blok Jupyter, který ukazuje, jak vytvořit vlastní LLM pro @crewAIInc, který volá rozhraní API Messages API @AnthropicAI a implementuje ukládání výzev do mezipaměti. Co je to rychlé ukládání do mezipaměti a kdy byste ho měli ve své posádce použít? Je to způsob, jak ukládat do mezipaměti dlouhou, opakující se část výzvy (obvykle systémový kontext) mezi voláními rozhraní API. odešlete jej jednou, další volání jej znovu použije; Snížení vstupních nákladů o ~90 % a zkrácení doby do prvního tokenu o ~85 % u dlouhých výzev, pokud systémový obsah + model + záhlaví zůstanou stejné a vy jste v rámci TTL (výchozí nastavení 5 m, beta verze 1 h). To funguje skvěle pro upovídané, víceotáčkové posádky. Užitečné také vždy, když váš tým znovu používá dlouhý, stabilní systémový kontext napříč úkoly (přemýšlejte: příručka, specifikace, souhrn kódové základny). Pokud se váš systém/kontext mění při každém volání, ukládání do mezipaměti vám příliš nepomůže. kuchařka používá "Frankensteina" z projektu Gutenberg k demonstraci ukládání do mezipaměti se skutečným, dlouhým kontextem. Níže uvedený diagram: První spuštění zapisuje do mezipaměti; Následná spuštění čtou z mezipaměti, když se systémový obsah, model a hlavičky shodují v rámci hodnoty TTL. repo + notebook v komentářích.

V současné době provozujeme naše nové @crewAIInc Studio v beta verzi, ale brzy bude GA! Zatím bylo ohromující vidět reakce lidí, když ho poprvé viděli v akci. Nahrál jsem krátký ukázkový pohled na to, jak Vibe kóduje agenta prostřednictvím naší platformy a zprovozňuje jej bez psaní jediného řádku kódu, a to vše během několika minut.