Ny AI fanger 73 prosent av alvorlige feil i forskningsartikler – fem ganger bedre enn konkurrentene

Sakana AI har utviklet et system for AI-drevet fagfellevurdering, kalt Multi-Layered Review (MLR), som fanger opp alvorlige feil i forskningsartikler mye mer effektivt enn tidligere løsninger. I tester identifiserte MLR 73,43 prosent av feilene som påvirket hovedfunnene, et resultat som er over fem ganger bedre enn den beste av konkurrentene, som kun fant 14,81 prosent. MLR fungerer ved å bruke tre spesialiserte AI-agenter som samarbeider om å vurdere en artikkel. Én agent oppsummerer eksperimenter fra vedlegg, en annen plasserer artikkelen i eksisterende litteratur, mens den tredje – og viktigste – gjennomgår teksten i tre trinn. Denne strukturerte tilnærmingen gjør at AI-en leser og forstår artikkelen før den kritiserer den, noe som skiller den fra enklere metoder. Systemet ble testet med et spesielt utformet «Contradiction Benchmark», der forskerne plantet 1164 fiktive feil i 257 virkelige artikler for å se om AI-en klarte å fange dem opp. Det har også vist en Pearson-korrelasjon på 0,586 med menneskelige fagfellevurderinger på ICLR 2025-bidrag, noe som indikerer god enighet, selv om menneskelige vurderere oppnår 0,742 seg imellom. MLR kjører på hyllevaremodeller som Claude Sonnet 4 og Claude Haiku 3.5, uten behov for kraftig spesialisert maskinvare eller finjustering. Kostnaden for en vurdering er lav, rundt 0,47 dollar per artikkel. Selv om systemet presterer imponerende på innsatte feil, viser det fortsatt svakheter ved å kun fange 16,11 prosent av faktiske, tilbakekalte artikler fra WithdrarXiv-Check, noe som understreker at sanne, skjulte feil fortsatt er en stor utfordring for AI-baserte vurderingssystemer.