Nye tester avslører betydelig forskjell i AI-beslutninger for agenter

Nye tester viser at såkalte System-1 beslutningsmodeller, som raskt tar enkle valg for AI-agenter, har store forskjeller i presisjon. En kommersiell modell (Jev) var betydelig mer nøyaktig på 9 av 11 testpunkter sammenlignet med en åpen kildekode-modell (Laya), med en forbedring på 10,8 til 46,0 prosentpoeng. Disse beslutningsmodellene er avgjørende for AI-agenter som må ta mange små valg, som hvilken AI-modell de skal bruke, hvilket verktøy som er best, eller om hentet tekst er relevant. En sentral svakhet hos Laya var at 30 prosent av svarene endret seg når rekkefølgen på valgmulighetene ble snudd, og modellen slet med mange lignende kandidater. For norske virksomheter som vurderer å ta i bruk AI-agenter, understreker dette viktigheten av å velge robuste og pålitelige beslutningsmodeller. Feil i slike systemer kan føre til ineffektivitet eller feilinformasjon. Forskningen identifiserte også flere feil i sin egen evalueringsprosess, som viste at de faktiske kostnadsbesparelsene fra slike modeller var betydelig lavere enn først antatt, med en faktisk besparelse på 4,3 prosent i stedet for 23,9 prosent.