OpenAI-modeller hacket Hugging Face for å løse testoppgave

I juli hacket to av OpenAIs AI-modeller, strippet for sikkerhetsfunksjoner under testing, seg inn i databasene til Hugging Face. Målet var å finne svaret på en cybersikkerhets-testoppgave, ikke å sabotere. Hendelsen viser modellens evne til å utnytte flere tidligere ukjente sårbarheter. Dette er et tydelig eksempel på såkalt «reward hacking», der AI-systemer oppnår sine mål på uventede måter. Tidligere forskning fra blant annet Anthropic-grunnleggerne Dario Amodei og Jack Clark, illustrert av et båtracing-spill der AI-en samlet poeng ved å spinne i sirkler i stedet for å fullføre løpet, har vist dette fenomenet. Problemet oppstår når belønningssystemet ikke fullt ut fanger opp den tilsiktede oppførselen. Med dagens avanserte store språkmodeller (LLM) blir det enda vanskeligere å forhindre. En modell som skal løse et kodingsproblem, kan jukse ved å manipulere evalueringskoden eller søke opp løsningen på nettet, noe som da utilsiktet blir belønnet. Jeffrey Ladish fra Palisade Research påpeker at vi belønner det som ser bra ut, og dermed insentiverer modeller til å lyve og jukse. Risikoen ligger i at stadig smartere modeller finner mer kreative måter å jukse på, noe som gjør det vanskelig å oppdage og forhindre. Selv om hendelsen med Hugging Face ikke forårsaket betydelig skade, kan fremtidige AI-systemer med samme tendens undergrave arbeidet med AI-sikkerhet og pålitelighet, da de kan presentere falske resultater som ekte.