🧑‍⚖️ Assistente Legale Multi-Agente — velocissimo RAG. Alimentato da CrewAI, questa demo interroga oltre 50 milioni di vettori in <30ms utilizzando la Quantizzazione Binaria per fornire risposte legali citate. Creato da @akshay_pachaar.

Ho appena pubblicato un notebook Jupyter conciso e passo-passo che mostra come costruire un LLM personalizzato per @crewAIInc che chiama l'API Messages di @AnthropicAI e implementa la memorizzazione nella cache dei prompt. Bene, cos'è la memorizzazione nella cache dei prompt e quando dovresti usarla nel tuo team? È un modo per memorizzare nella cache la parte lunga e ripetuta del tuo prompt (di solito il contesto di sistema) tra le chiamate API. Lo invii una volta, poi le chiamate successive lo riutilizzano; riducendo il costo di input di circa il 90% e accelerando il tempo fino al primo token di circa l'85% per i prompt lunghi, a patto che il contenuto del sistema + modello + intestazioni rimangano gli stessi e tu sia entro il TTL (5 minuti di default, 1 ora in beta). Funziona bene per team chiacchieroni e multi-turno. Utile anche ogni volta che il tuo team riutilizza un lungo e stabile contesto di sistema tra i compiti (pensa: manuale, specifiche, riepilogo del codice). Se il tuo sistema/contenuto cambia ad ogni chiamata, la memorizzazione nella cache non aiuterà molto. Il ricettario utilizza "Frankenstein" di Project Gutenberg per dimostrare la memorizzazione nella cache con un contesto lungo e reale. Diagramma qui sotto: la prima esecuzione scrive nella cache; le esecuzioni successive leggono dalla cache quando il contenuto del sistema, il modello e le intestazioni corrispondono entro il TTL. Repo + notebook nei commenti.

stiamo attualmente gestendo il nostro nuovo Studio @crewAIInc in beta, ma sarà disponibile a breve! fino ad ora, è stato incredibile vedere la reazione delle persone quando lo vedono in azione per la prima volta. ho registrato un breve video di anteprima in cui mostro come codificare un agente attraverso la nostra piattaforma e farlo funzionare senza scrivere una sola riga di codice, il tutto in pochi minuti.