Yapay zeka işleri gerçekten otomatikleştirebilir mi? @Scale_AI ve @ai_risks, yapay zeka aracılarının yazılım mühendisliği, tasarım, mimari, veri analizi ve daha fazlası gibi alanlarda gerçek, ücretli serbest çalışmayı ne kadar iyi tamamlayabildiğini test eden ilk kıyaslama ve halka açık liderlik tablosu olan Uzaktan Çalışma Endeksi'ni (RLI) başlatıyor. İlk sonuçlar günümüz modellerinin sınırlarını gösteriyor. En iyi yapay zeka ajanı, gerçek serbest işlerin yalnızca %2,5'ini insanlardan daha iyi tamamladı. Yapay zeka güçlüdür, ancak henüz vasıflı emeğin yerini alacak kadar güvenilir değildir. RLI, zaman içindeki ilerlemeyi izlememiz ve işin geleceğine netlik getirmemiz için bize şeffaf bir yol sunuyor.

Yeni @Scale_AI makalesi! Ödül korsanlığının arkasındaki suçlu mu? Bunu yüksek ödüllü kuyruktaki yanlış tanımlamaya kadar izliyoruz. Çözümümüz: "mükemmel" yanıtları "harika"dan ayırmak için dereceli puanlama anahtarına dayalı ödüller. Sonuç: Daha az bilgisayar korsanlığı, daha güçlü eğitim sonrası!  

🚀 SWE-Bench Pro ile tanışın — LLM kodlama aracılarını gerçek, kurumsal düzeyde yazılım mühendisliği görevlerinde değerlendirmek için yeni bir kıyaslama. Bu, SWE-Bench'in ötesindeki bir sonraki adımdır: daha sert, kirlenmeye dayanıklı ve gerçek dünyadaki depolara daha yakın.