AI sliter med å si nei – kan slippe skadelig innhold

Nye analyser viser at dagens AI-modeller, til tross for omfattende sikkerhetstiltak, kan feile i å nekte skadelige henvendelser. Dette skyldes den innebygde utfordringen med å skille mellom hjelpsom og farlig informasjon når modellene trenes på enorme datamengder. Selv om AI-selskaper investerer tungt i «sikkerhetsfiltre», er refusjon en komplisert prosess. AI-modeller trenes aktivt i å si nei, blant annet ved å belønne dem for å avvise skadelige spørsmål og straffe dem for å nekte ufarlige. Dette gjøres ofte ved hjelp av andre AI-modeller som lærer opp hovedmodellen. Enkelte selskaper bruker også en rekke «klassifikatorer» – mindre AI-modeller som fungerer som vaktposter – for å fange opp farlige ledetekster før de når hovedmodellen, eller for å blokkere skadelige svar. Ett slikt system økte compute-kostnadene med 24 prosent for Anthropic. Likevel er disse mekanismene probabilistiske, altså basert på sannsynligheter, og vil aldri være helt pålitelige. Forskere har funnet at selv om AI generelt nekter farlige spørsmål, kan den svare ja innimellom ved gjentatte forsøk. Usikkerheten knyttet til refusjon, samt spørsmålet om hvem som skal definere grensene for hva AI skal nekte, er et uavklart dilemma som kan få store konsekvenser for norske virksomheter som tar i bruk AI.