Forskning31. juli 2026
Nye tester avslører gap mellom teori og praksis for medisinske KI-modeller
Av redaksjonen
Nye evalueringer av medisinske store språkmodeller (LLM-er) avdekker et betydelig gap mellom statisk kunnskap og faktisk ferdighet i kliniske oppgaver, noe som krever en ny tilnærming til valg av AI-verktøy.
Selv om utmerker seg på medisinske lisenseksamener, gir disse standardtestene et ufullstendig bilde av modellens evner i klinisk praksis. En ny evalueringsramme, MEDIC, avdekker at høy ytelse på statiske kunnskapsspørsmål ikke nødvendigvis betyr at modellen takler operasjonelle oppgaver, som kliniske beregninger eller generering av SQL-koder for databasesøk.
Forskere bak MEDIC har utviklet en omfattende rammeverk som måler LLM-enes kompetanse på fem dimensjoner. I tillegg til tradisjonelle spørsmålsbaserte tester inkluderer MEDIC også protokoller for funksjonell utførelse og en såkalt Cross-Examination Framework (CEF). Denne metoden kvantifiserer informasjonsnøyaktighet og (modellen genererer feilaktig informasjon) uten å måtte lene seg på referansetekster. Analysene viser at det ikke finnes én enkelt modellarkitektur som overgår alle andre på tvers av alle dimensjoner. For eksempel kan modeller som er finjustert for å nekte å svare på usikre spørsmål (passiv sikkerhet), fortsatt feile når det gjelder å oppdage feil i medisinsk dokumentasjon (aktiv sikkerhet).
Dette betyr at organisasjoner som vurderer å ta i bruk LLM-er i klinisk arbeid, må velge modeller basert på en mer nyansert forståelse av deres styrker og svakheter, og ofte kreves en portefølje-tilnærming der ulike modeller utfyller hverandre. Resultatene er samlet i et offentlig tilgjengelig MEDIC-ledertavle.