Variasjon i implementering utfordrer automatisert forskning

Automatiske forskningssystemer baserer seg tungt på eksperimentelle resultater for å vurdere og videreføre forskningsideer. En ny artikkel fremhever en problemstilling omtalt som «implementeringslotteriet»: En enkelt testkjøring reflekterer kun én spesifikk implementasjon av en idé. Hvis konklusjoner om selve ideen trekkes basert på dette ene resultatet, kan feilslutninger oppstå fordi testresultatet er avhengig av den konkrete implementeringen som ble valgt. Studien introduserer en metode kalt «Ide-pålitelighetsrevisjon» for å måle ideens iboende pålitelighet, uavhengig av implementeringsspesifikke variasjoner. Dette innebærer å bekrefte kandidatkort, sample ferske implementeringer for hver test og kjøre lagrede artefakter på nytt med utfallsblinde vurderinger. Funnene antyder at variasjonen som stammer fra ulike implementeringer, overgår variasjonen fra gjentatt kjøring av samme programvareutgave med betydelig margin. På tvers av 312 oppgaver fordelt på 13 tabelloppgaver og to oppsett for kodingsagenter, var implementeringsvariasjonen henholdsvis over fem og ti ganger større enn variasjonen ved gjentatte kjøringer av samme artefakt. I tillegg avvek vinneren identifisert fra én implementeringstrekning fra vinneren identifisert ved gjennomsnittet av to andre implementeringer i 25,6 % og 43,6 % av beslutningene. Disse resultatene peker på en strukturell utfordring der enkelte implementeringers resultater kan feilaktig tilskrives den overordnede ideen. Forskningen argumenterer for at for å sikre robuste konklusjoner i automatisert forskning, bør bevisgrunnlaget omfatte resultater fra flere ulike implementeringer før en idé vurderes for videreføring eller lagring i forskningsminnet.