Afgelopen weekend heb ik gepost dat Claude Code in een uur een volledige empirische politicologische studie heeft gemaakt. Veel mensen vroegen: maar hoe nauwkeurig was de studie? Het antwoord: vrij nauwkeurig, met enkele interessante fouten en belangrijke beperkingen. Om het antwoord te krijgen, bood Graham Straus vriendelijk aan om een onafhankelijke, handmatige audit uit te voeren - dezelfde gegevens te verzamelen en het paper uit te breiden zoals Claude deed, maar zonder gebruik te maken van AI. Dit is wat hij vond: Claude heeft het originele paper exact gerepliceerd, 29/30 CA-counties correct gecodeerd op behandelingsmoment, en verkiezingsgegevens verzameld die >.999 correleerden met handmatige verzameling. De drie belangrijkste fouten die Graham vond - het verkeerd coderen van het behandelingsjaar van één county, het weglaten van gegevensverzameling voor verschillende potentieel relevante races in altijd-behandelde staten, en het niet gebruiken van niet-presidentsverkiezingen om de opkomst te berekenen - zijn vergelijkbaar met de soorten fouten die een mens zou kunnen maken bij een eerste poging om dit paper te schrijven, en hadden slechts kleine effecten op de daaropvolgende schattingen. Aan de andere kant, toen Claude probeerde nieuwe analyses te creëren die geen rechttoe rechtaan uitbreidingen van het originele paper waren, deed het slechter. Geen hallucinaties of gekke fouten, op zich, maar het week af van de prompt en produceerde resultaten die we slecht doordacht vonden. Mijn conclusie: –AI is vandaag de dag al een extreem krachtige manier om snel goed onderbouwde, eenvoudige empirische papers bij te werken en uit te breiden. –Om empirisch sociaalwetenschappelijk onderzoek goed te doen, heeft het absoluut begeleiding en toezicht nodig van menselijke experts. We zullen volgende week op mijn blog bredere gedachten over dit werk delen, wat we hebben geleerd door het te doen, en waar we hierna naartoe gaan. Bedankt aan de vele, vele mensen die contact hebben opgenomen, vragen hebben gesteld en feedback hebben gegeven op dit project.

Een volledige beschrijving is hier beschikbaar: Het is interessant om te combineren met recente schrijfsels van @joshgans @alexolegimas @deanwball en anderen!