El fin de semana pasado publiqué que Claude Code creó un estudio empírico completo de ciencias políticas en una hora. Muchas personas preguntaron: ¿pero cuán preciso fue el estudio? La respuesta: bastante preciso, con algunos errores interesantes y limitaciones importantes. Para obtener la respuesta, Graham Straus amablemente se ofreció a realizar una auditoría independiente y manual, recopilando los mismos datos y ampliando el documento como lo hizo Claude, pero sin usar ninguna IA. Esto es lo que encontró: Claude replicó el documento original exactamente, codificó correctamente 29 de 30 condados de CA en cuanto al tiempo de tratamiento, y recopiló datos electorales que correlacionaron >.999 con la recopilación manual. Los tres errores principales que Graham encontró—codificación incorrecta del año de tratamiento de un condado, omisión de la recopilación de datos para varias carreras potencialmente relevantes en estados siempre tratados, y no usar elecciones no presidenciales para calcular la participación—son similares a los tipos de errores que un humano podría cometer en un primer intento de escribir este documento, y tuvieron solo pequeños efectos en las estimaciones posteriores. Por otro lado, cuando Claude intentó crear nuevos análisis que no eran extensiones directas del documento original, lo hizo peor. No hubo alucinaciones ni errores locos, per se, pero se desvió del aviso y produjo resultados que consideramos mal concebidos. Mi opinión: –La IA hoy en día ya es una forma extremadamente poderosa de actualizar y ampliar rápidamente documentos empíricos bien contenidos y simples. –Para hacer investigación empírica en ciencias sociales de manera efectiva, necesita absolutamente orientación y supervisión de expertos humanos. Compartiremos pensamientos más amplios sobre este trabajo, lo que aprendimos al hacerlo y hacia dónde vamos desde aquí la próxima semana en mi blog. Gracias a las muchas, muchas personas que se pusieron en contacto, hicieron preguntas y ofrecieron comentarios sobre este proyecto.

Un informe completo está disponible aquí: ¡Es interesante emparejarlo con escritos recientes de @joshgans @alexolegimas @deanwball y otros!