🧑 ⚖️ Asisten Hukum Multi-Agen — RUG yang sangat cepat. Didukung oleh CrewAI, demo ini menanyakan 50 juta+ vektor dalam <30 ms menggunakan Kuantisasi Biner untuk memberikan jawaban hukum yang dikutip. Dibangun oleh @akshay_pachaar.

Saya baru saja menerbitkan buku catatan Jupyter langkah demi langkah yang ringkas yang menunjukkan cara membangun LLM khusus untuk @crewAIInc yang memanggil Messages API @AnthropicAI dan mengimplementasikan penembolokan prompt. Nah, apa itu Prompt Caching dan kapan Anda harus menggunakannya di kru Anda? Ini adalah cara untuk menyimpan cache bagian prompt Anda yang panjang dan berulang (biasanya konteks sistem) di antara panggilan API. Anda mengirimkannya sekali, lalu panggilan berikutnya menggunakannya kembali; Memotong biaya input sebesar ~90% dan mempercepat waktu-ke-token pertama sebesar ~85% untuk perintah yang panjang, selama konten sistem + model + header tetap sama dan Anda berada dalam TTL (default 5M, beta 1 jam). Ini sangat cocok untuk kru multi-giliran yang cerewet. Juga berguna setiap kali kru Anda menggunakan kembali konteks sistem yang panjang dan stabil di seluruh tugas (pikirkan: buku pedoman, spesifikasi, ringkasan basis kode). Jika sistem/konteks Anda mengubah setiap panggilan, caching tidak akan banyak membantu. buku masak menggunakan "Frankenstein" dari Project Gutenberg untuk mendemonstrasikan caching dengan konteks yang nyata dan panjang. diagram di bawah ini: Lari pertama menulis ke cache; eksekusi berikutnya dibaca dari cache ketika konten sistem, model, dan header cocok dalam TTL. Repo + Notebook di komentar.

saat ini kami menjalankan @crewAIInc Studio baru kami dalam versi beta tetapi akan segera menjadi GA! Sejauh ini, sangat menakjubkan melihat reaksi orang-orang ketika mereka melihatnya beraksi untuk pertama kalinya. Saya telah merekam cuplikan singkat tentang Vibe yang mengkodekan agen melalui platform kami dan menjalankannya tanpa menulis satu baris kode pun dan semuanya dalam beberapa menit yang singkat.