AI-assisted teams outperform AI-led teams but not human-only teams in assessing research reproducibility in quantitative social science

Artikeln undersöker hur väl AI kan hjälpa forskare att kontrollera om publicerade forskningsresultat går att reproducera. I ett storskaligt experiment fördelades 288 forskare på 103 team som arbetade på tre olika sätt: utan AI, med ChatGPT som hjälpmedel eller med ChatGPT i en ledande roll med minimal mänsklig inblandning. Resultaten visar att team med och utan AI-assistans presterade ungefär lika bra och lyckades reproducera omkring 91–94 procent av de undersökta resultaten. De mänskliga teamen var dock bättre på att upptäcka allvarliga kodningsfel. De AI-ledda teamen presterade betydligt sämre: de reproducerade endast 37 procent av resultaten, arbetade långsammare och identifierade färre fel. Studien visar att AI kan vara ett värdefullt stöd i arbetet med att granska forskning, men att mänsklig expertis fortfarande är avgörande för att säkerställa forskningens kvalitet och tillförlitlighet.