AI-kodevurdering treffer blindt: Fant metode for å sile bort usikre svar

Når AI-modeller skal vurdere kode, gir de ofte et selvsikkert svar selv når de mangler grunnlag. En studie av det etablerte rammeverket MARCH avslører at det stemplet to kodeforslag som like gode i opptil 95 prosent av sammenligningene, med kun 4,4 prosent nøyaktighet der en direkte modell nådde 43,7 prosent. Forskere har nå utviklet en metode for å identifisere når en AI-dommer mangler grunnlag, uten å måtte bruke manuelt merkede data. Ved å sile bort de usikre svarene økte nøyaktigheten fra 20,7 til 36,9 prosent, selv om modellen da besvarte halvparten av alle sammenligningene. Dette kan bidra til mer pålitelig bruk av AI i programvareutvikling, da det reduserer risikoen for å handle på feilaktige eller ubegrunnede anbefalinger. Funnet er viktig for alle som vurderer å implementere AI-basert kodevurdering, og understreker behovet for systemer som kan identifisere egne usikkerheter. Det gjør AI-verktøyene mer transparente og sikrere i kritiske arbeidsprosesser.