AI hallusinerer om kilder: «Ghost citations» en stor fallgruve

Når AI-modeller som Gemini og ChatGPT svarer, forsøker de å presentere informasjonen som en sammenhengende fortelling. Dette gjelder selv når de mangler kunnskap, og fyller da ofte hullene med vage formuleringer eller skråsikre fakta – som i realiteten er oppdiktet. Dette fenomenet kalles ofte hallusinasjoner, og rammer særlig kildehenvisninger. Google AI-oversikt henviste nylig til en ikke-eksisterende «UMD Slavic Languages and Literature Guide» ved University of Maryland. Modellen hadde funnet lignende UMD-guider og ord som «Slavic» i en avviklet URL, og ekstrapolerte derfra. Slike «ghost citations» kan være vanskelige å fange, da de ofte blander reell og oppdiktet informasjon. Et annet eksempel er ChatGPT som diktet opp en hel bibliografi med ikke-eksisterende sider og lenker til reelle nettsteder. Selv når AI oppgir reelle lenker, kan innholdet være villedende. Google AI lenket en Guardian-artikkel om en «vikingrekke» til en påstand om at Norge og Argentina spilte mot hverandre i VM, noe artikkelen ikke nevnte. En viktig del av å vurdere en menneskelig forfatters troverdighet er kildebruken, men for AI-generert innhold er dette ofte umulig å spore. Modellen selv, og dens programmerere, kan sjelden si nøyaktig hvor informasjonen kommer fra i de enorme treningsdataene. AI kan også misforstå instruksjoner eller ledetekster (prompter), selv med små variasjoner i spørsmålsstillingen. En presis ledetekst om en student som stilte til valg som konge ved University of Maryland ga korrekt informasjon, mens en vagere formulering om «studenten som stilte til valg som konge» resulterte i en usikker og feilaktig tolkning om Homecoming-valg. Dette viser viktigheten av nøye prompt engineering for å unngå uforutsette utfall og feilinformasjon.