AI-forklaringer i helse krever bevis, ikke bare klarhet

Selv om AI-modeller kan forbedre helsevesenet, er det ikke nok at de gir klare forklaringer; disse forklaringene må også kunne underbygge tillit. En redaksjonell artikkel fra Frontiers in Artificial Intelligence fremhever at forståelige forklaringer (XAI) ikke nødvendigvis betyr at legene tar bedre beslutninger, eller at modellene er pålitelige. To systematiske oversikter i samlingen, blant annet en av Ud Din et al. (2026) som gjennomgikk 51 studier, fant at legers positive oppfatning av forklaringer ikke alltid samsvarte med forbedret diagnostisk ytelse. Dette indikerer at opplevd klarhet eller økt selvtillit ikke er nok bevis for klinisk nytte. Mangel på validering og sammenligningsgrunnlag gjør det vanskelig å overføre funn til nye omgivelser. For norske helseforetak betyr dette at innføring av AI krever mer enn bare teknisk implementering; det må også bygges robuste evalueringsprosesser som tester reell effekt på pasientbehandling og klinikerens evne til å bruke informasjonen korrekt. Forskningen peker på tre hovedprioriteter: forklaringene må ha bevis for at de faktisk bidrar til riktigere beslutninger, evalueringene må spesifisere bruker, oppgave og beslutning, og klinisk overføring krever prospektiv validering i relevante miljøer. Studier som den av Chen et al. (2025), som brukte SHAP for å forklare risikoprediksjon etter kirurgi, viser hvordan attribusjonsmetoder kan synliggjøre modellens bidrag fra ulike faktorer. Men selv slike metoder er avhengige av ekstern validering og at modellens funn ikke forveksles med årsakssammenhenger. Det viktigste er å koble kontrollerbare modeller med sporbar informasjon for å demonstrere bedre menneskelige beslutninger i praksis.