LLM-hallusinasjoner kan vise ideologisk slagside i politisk svar

En fersk studie har undersøkt hvordan store språkmodeller (LLM-er) produserer «hallusinasjoner» – usanne eller usammenhengende utsagn – når de besvarer spørsmål basert på politiske nyhetsartikler. Forskerne utviklet en metode for å identifisere og analyse disse feilene, med et spesielt fokus på ideologisk slagside. Studien tok utgangspunkt i over 21 000 nyhetsartikler fra amerikanske medier med ulike politiske ståsteder – venstre, sentrum og høyre. Ved å stille spørsmål knyttet til hver artikkel og la fire ulike LLM-er (tre åpne og én proprietær) besvare dem, kunne forskerne kartlegge hallusinasjonsraten. De fant at forekomsten av hallusinasjoner varierte mellom modellene og var særlig høy i kontroversielle emner. Interessant nok var det små forskjeller i hallusinasjonsfrekvens basert på kildens ideologi. Den mest bemerkelsesverdige oppdagelsen var imidlertid innholdet i hallusinasjonene. En betydelig andel av de falske utsagnene ble klassifisert som venstreorienterte, selv når modellene hentet svar fra høyreorienterte kilder. Dette tyder på en systematisk «venstreside-drift» i modellens genererte feilinformasjon. Analyser av modellens interne prosesser indikerte at hallusinasjonene ofte oppsto i situasjoner med høy usikkerhet, og i noen modeller var denne usikkerheten også knyttet til den venstreorienterte retningen. Disse funnene er relevante for hvordan vi vurderer og bruker AI i politisk informasjonsformidling, spesielt i perioder som valgkamper, hvor nøyaktighet er avgjørende. Resultatene understreker behovet for grundig gjennomgang av AI-generert innhold og utvikling av mekanismer for å redusere slik ideologisk skjevhet.