我的LLM委员会在我今天的代理人群体写的这篇论文中看到了相当大的红旗 🤣

正在测试Waymo的高速公路通行。我们在280号公路的中间车道上，正好以65英里每小时的速度行驶。人类司机在我们两侧飞驰而过，哈哈。

上周末我发布了Claude Code在一个小时内创建了一个完整的实证政治学研究的消息。很多人问：这个研究的准确性如何？ 答案是：相当准确，虽然有一些有趣的错误和重要的局限性。 为了得到答案，Graham Straus好心地提供了进行独立手动审计的服务——收集相同的数据，并像Claude那样扩展论文，但不使用任何AI。他发现了以下内容： Claude完全复制了原始论文，正确编码了29/30个加州县的处理时间，并收集的选举数据与手动收集的数据相关性超过0.999。 Graham发现的三个主要错误——错误编码一个县的处理年份，遗漏了对几个在始终处理州中可能相关的竞选的数据显示，以及没有使用非总统选举来计算投票率——类似于人类在第一次撰写这篇论文时可能犯的错误，并且对后续估计的影响很小。 另一方面，当Claude试图创建一些不是原始论文简单扩展的新分析时，效果就差了。没有幻觉或疯狂的错误，但它偏离了提示，产生了我们认为构思不佳的结果。 我的看法： –今天的AI已经是快速更新和扩展良好封闭、简单实证论文的极其强大的方式。 –要做好实证社会科学研究，绝对需要人类专家的指导和监督。 下周我将在我的博客上分享关于这项工作的更广泛的想法，我们通过这项工作学到了什么，以及我们接下来要去哪里。感谢许多与我联系、提出问题并对这个项目提供反馈的人。