我的 LLM 委員會在我今天的代理人群寫的這篇論文中看到了幾個相當大的紅旗 🤣

正在測試 Waymo 的高速公路進入。 我們在 280 的中間車道上，正好以 65 英里每小時的速度行駛。 人類駕駛者在我們兩側飛速超過，哈哈。

上週末我發文提到Claude Code在一小時內創建了一個完整的實證政治學研究。很多人問：這項研究的準確性如何？ 答案是：相當準確，雖然有一些有趣的錯誤和重要的限制。 為了得到答案，Graham Straus好心地提供了進行獨立的手動審核——收集相同的數據並像Claude一樣擴展論文，但不使用任何AI。他發現了以下幾點： Claude完全複製了原始論文，正確編碼了29/30個加州縣的處理時間，並收集的選舉數據與手動收集的數據相關性超過0.999。 Graham發現的三個主要錯誤——錯誤編碼一個縣的處理年份，省略了對幾個潛在相關賽事的數據收集（這些賽事位於始終處理的州），以及未使用非總統選舉來計算投票率——類似於人類在第一次撰寫這篇論文時可能會犯的錯誤，對後續估算的影響也很小。 另一方面，當Claude試圖創建不直接擴展原始論文的新分析時，表現得更差。並沒有出現幻覺或瘋狂的錯誤，但它偏離了提示，產生了我們認為構思不佳的結果。 我的看法： –今天的AI已經是一種極其強大的方式，可以快速更新和擴展內容簡單的實證論文。 –要做好實證社會科學研究，絕對需要人類專家的指導和監督。 下週我會在我的博客上分享對這項工作的更廣泛看法，我們通過這項工作學到了什麼，以及我們接下來的方向。感謝許多與我聯繫、提出問題並對這個項目提供反饋的人。