🧑 ⚖️ Asistent juridic multi-agent - RAG extrem de rapid. Alimentat de CrewAI, acest demo interoghează 50M+ vectori în <30ms folosind cuantificarea binară pentru a furniza răspunsuri legale citate. Construit de @akshay_pachaar.

Tocmai am publicat un blocnotes Jupyter concis, pas cu pas, care arată cum să construiți un LLM personalizat pentru @crewAIInc care apelează API-ul Messages al @AnthropicAI și implementează cache prompt. Ei bine, ce este cache prompt și când ar trebui să-l utilizați în echipajul dvs.? Este o modalitate de a memora în cache partea lungă și repetată a solicitării (de obicei contextul sistemului) între apelurile API. îl trimiți o dată, apoi apelurile ulterioare îl refolosesc; reducerea costului de intrare cu ~90% și accelerarea timpului până la primul token cu ~85% pentru solicitările lungi, atâta timp cât conținutul sistemului + modelul + anteturile rămân aceleași și sunteți în TTL (5m implicit, 1h beta). Acest lucru funcționează excelent pentru echipele vorbărețe, cu mai multe ture. De asemenea, util de fiecare dată când echipajul reutilizează un context de sistem lung și stabil în toate sarcinile (gândiți-vă: manual, specificații, rezumatul bazei de cod). Dacă sistemul/contextul tău se schimbă la fiecare apel, stocarea în cache nu va ajuta prea mult. cartea de bucate folosește "Frankenstein" din Proiectul Gutenberg pentru a demonstra stocarea în cache cu un context real și lung. Diagrama de mai jos: Prima rulare scrie în cache; rulările ulterioare citite din cache atunci când conținutul sistemului, modelul și anteturile se potrivesc în TTL. repo + notebook în comentarii.

în prezent rulăm noul nostru @crewAIInc Studio în versiune beta, dar vom fi GA în curând! Până acum, a fost uimitor să vezi reacția oamenilor când îl văd în acțiune pentru prima dată. Am înregistrat o scurtă prezentare a Vibe, codând un agent prin platforma noastră și făcându-l să ruleze fără a scrie o singură linie de cod și totul în câteva minute.