AI-forklaringer kan villede uerfarne leger og pasienter

Forskning fra MITs Healthy ML Lab, ledet av professor Marzyeh Ghassemi, avdekker at hvordan KI-systemer forklarer sine resultater har stor betydning for bruken i helsesektoren. Når en stor språkmodell (LLM) forklarer en KI-diagnose, kan dette forbedre nøyaktigheten med 13,4 prosent hos lekfolk når KI har rett, men samtidig redusere nøyaktigheten med hele 21,1 prosent når KI tar feil – det største fallet blant metodene som ble testet. Dette betyr at en overbevisende forklaring kan fungere som overtalelse, ikke transparens, spesielt for uerfarne brukere eller pasienter. Primærleger var mer motstandsdyktige mot feil veiledning, noe som tyder på at effekten varierer med brukerens kompetanse. En felles grensesnitt kan altså hjelpe en erfaren kliniker med å teste hypoteser, men føre en mindre erfaren til feil konklusjon med større selvsikkerhet, og dermed svekke beslutningsgrunnlaget i praksis. Laben utvikler også metoder for å håndtere skjevheter og usikkerhet i multimodale helsedata, som ofte er sparse og heterogene. Et eksempel er at brystscanninger som har god gjennomsnittlig ytelse, likevel kan underdiagnostisere svarte pasienter og kvinner. Arbeidet understreker behovet for å tilpasse KI-grensesnitt til brukerens ekspertise og å unngå å anta at en mer polert forklaring er tryggere.