Sparsomme data fører til feilvalg av AI-dommere

Forskere advarer mot at kun 5 prosent overlappende data mellom menneskelige vurderere kan føre til 25 prosent feilaktige beslutninger ved valg av «AI-dommere», altså store språkmodeller som skal vurdere utfall. Sannsynligheten for å velge feil modell av ti kandidater er da hele 65 prosent. Dette er kritisk for norske virksomheter som vurderer å ta i bruk slike AI-systemer til kvalitetskontroll eller saksbehandling. Studien foreslår at et minimum av 25 prosent overlapp, kombinert med en stratifisert tildelingsmetode, kan halvere feilratene sammenlignet med tilfeldig utvalg, men erkjenner at grensetilfeller fortsatt er vanskelige å vurdere.