Ny metode avslører svakheter i ni AI-forklaringsverktøy

En fersk studie introduserer et rammeverk som bruker syntetiske data for å vurdere forklaringer fra kunstig intelligens. Dette nye verktøyet gjør det mulig å vite hva den «korrekte» forklaringen fra en modell burde være, i motsetning til tidligere metoder som kun målte hvor godt forklaringen passet med modellens faktiske utfall. Metoden avslører betydelige svakheter i ni mye brukte såkalte XAI-verktøy – altså metoder for å gjøre AI-systemer mer forståelige. Dette er viktig fordi det betyr at mange eksisterende forklaringsmodeller kan gi misledende eller inkonsekvente tolkninger av hvordan en AI-modell egentlig fungerer, noe som har store konsekvenser for tillit og risikostyring i norske virksomheter. Ved å manipulere syntetiske datasett for å kontrollere hvilke innputt som er viktige, kan forskere nå etablere en «sannhet» for AI-modellens beslutningsprosesser. Dette rammeverket, testet på bilder, tabulære data og tidsserier, gir et mer pålitelig grunnlag for å vurdere kvaliteten på AI-forklaringer.