No último fim de semana, publiquei que Claude Code criou um estudo completo de ciência política empírica em uma hora. Muita gente perguntava: mas quão preciso foi o estudo? A resposta: bastante precisa, com alguns erros interessantes e limitações importantes. Para obter a resposta, Graham Straus gentilmente ofereceu fazer uma auditoria manual independente — coletando os mesmos dados e estendendo o artigo como Claude fez, mas sem usar IA. Aqui está o que ele descobriu: Claude replicou exatamente o artigo original, codificou corretamente 29/30 condados da Califórnia quanto ao momento do tratamento e coletou dados eleitorais que correlacionavam >,999 com a coleta manual. Os três principais erros encontrados por Graham — codificar incorretamente o ano de tratamento de um condado, omitir a coleta de dados de várias eleições potencialmente relevantes em estados sempre tratados e não usar eleições não presidenciais para calcular a participação — são semelhantes aos tipos de erros que um humano poderia cometer na primeira tentativa de escrever este artigo, e tiveram apenas pequenos efeitos nas estimativas subsequentes. Por outro lado, quando Claude tentou criar novas análises que não fossem extensões diretas do artigo original, foi pior. Sem alucinações ou erros loucos, propriamente ditos, mas ele se desviou do prompt e produziu resultados que achamos mal concebidos. Minha leitura: –A IA hoje já é uma forma extremamente poderosa de atualizar e estender rapidamente artigos empíricos simples e bem contidos. –Para realizar bem uma pesquisa empírica em ciências sociais, é absolutamente necessário orientação e supervisão de especialistas humanos. Vamos compartilhar reflexões mais amplas sobre esse trabalho, o que aprendemos ao fazê-lo e para onde vamos a partir daqui na próxima semana, no meu blog. Obrigado às muitas, muitas pessoas que entraram em contato, fizeram perguntas e ofereceram feedback sobre este projeto.

Um artigo completo está disponível aqui: É interessante combinar com textos recentes de @joshgans @alexolegimas @deanwball e outros!