El fin de semana pasado publiqué que Claude Code creó un estudio completo de ciencia política empírica en una hora. Mucha gente preguntó: ¿pero qué tan preciso fue el estudio? La respuesta: bastante precisa, con algunos errores interesantes y limitaciones importantes. Para obtener la respuesta, Graham Straus amablemente se ofreció a hacer una auditoría independiente y manual—recopilando los mismos datos y ampliando el artículo como hizo Claude, pero sin usar ninguna IA. Esto es lo que descubrió: Claude replicó exactamente el artículo original, codificó correctamente 29 de 30 condados de California en cuanto al momento del tratamiento y recopiló datos electorales que correlacionaban >,999 con la recogida manual. Los tres principales errores que encontró Graham—codificar mal el año de tratamiento de un condado, omitir la recopilación de datos de varias contiendas potencialmente relevantes en estados siempre tratados y no utilizar elecciones no presidenciales para calcular la participación—son similares a los tipos de errores que un humano podría cometer en una primera vez al escribir este artículo, y tuvieron solo pequeños efectos en las estimaciones posteriores. Por otro lado, cuando Claude intentó crear nuevos análisis que no fueran extensiones directas del artículo original, lo hizo peor. No hubo alucinaciones ni errores locos, en sí, pero se desvió del prompt y produjo resultados que encontramos mal concebidos. Mi lectura: –La IA hoy en día ya es una forma extremadamente poderosa de actualizar y ampliar rápidamente artículos empíricos simples y bien contenidos. –Para realizar bien investigación empírica en ciencias sociales, necesita absolutamente orientación y supervisión de expertos humanos. La próxima semana compartiremos reflexiones más amplias sobre este trabajo, lo que aprendimos al hacerlo y hacia dónde vamos a partir de aquí en mi blog. Gracias a las muchas, muchísimas personas que se pusieron en contacto, hicieron preguntas y ofrecieron su opinión sobre este proyecto.

Un artículo completo está disponible aquí: ¡Es interesante combinarlo con escritos recientes de @joshgans @alexolegimas @deanwball y otros!