AI mangler kritisk «tankegang» – kan gi feil diagnose og dårlige råd

Dagens store språkmodeller (LLM-er) som ChatGPT kan snakke imponerende, men de mangler kritisk evne til dyp resonnering, ifølge forsker Thore Graepel, en av arkitektene bak DeepMinds Go-spillende AI AlphaGo. Mens AlphaGo i 2016 valgte et «kreativt» trekk mot Go-mesteren Lee Sedol – trekk 37 – etter grundig vurdering av fremtidige konsekvenser, bygger dagens AI hovedsakelig på rask mønstergjenkjenning. AlphaGos suksess skyldtes en todelt arkitektur: et «intuitivt» nettverk som foreslo trekk, og en søkemotor som systematisk utforsket tusenvis av mulige utfall i et spilltre. Dette er forskjellig fra LLM-er som bare velger neste ord – et system som ifølge Graepel minner om menneskets «system 1»-tankegang, altså den raske og assosiative. LLM-er kan simulere resonnering ved å produsere tankerekker, men de gjør dette fortsatt via den samme «neste-ord-prediksjonen», ikke en separat og etterprøvbar mekanikk. Dette gjør at dagens LLM-er mangler tre grunnleggende elementer for ekte resonnering: de har ingen transparent oversikt over hypoteser og bevis de vurderer, de skiller ikke kunnskap fra hvordan kunnskapen behandles, og deres «tankerekker» lages ofte i etterkant for å forklare et allerede funnet svar. For en norsk virksomhet betyr dette at man ikke kan stole blindt på chatbotens «forklaring» på en anbefaling, for eksempel ved diagnose i helsesektoren eller kompleks feilsøking i industrien. Når feil oppstår, er det vanskelig å identifisere hva som gikk galt. Graepel, som nylig forlot Google DeepMind, mener fremtidens AI må lære fra AlphaGos arkitektur, og bygge systemer som kan føre en reviderbar «loggbok» over sin resonneringsprosess – et såkalt epistemisk nivå. Dette ville gjøre AI mer pålitelig og i stand til å gi genuint nye innsikter, særlig i felt som medisin og vitenskap, hvor det å forstå «hvordan» en konklusjon nås, er like viktig som selve konklusjonen.