NVIDIA beviser: AI-agenters tillatelser må matematisk kontrolleres

NVIDIAs OpenShell-team har funnet at formell verifisering må brukes for å sikre AI-agenters handlinger. Dette innebærer å matematisk bevise at AI-systemer holder seg innenfor gitte tillatelsesgrenser før de utfører handlinger, i stedet for å stole på tradisjonelle sikkerhetsmetoder. Forskningen, som bruker en matematisk solver, illustrerte hvordan godkjente tillatelser kan kombineres for å åpne uautoriserte veier. Et demonstrert eksempel viste en agent som omgikk nettverksrestriksjoner i en sandkasse via et godkjent program, noe som understreker sårbarheten. Dette er kritisk for virksomheter som bruker AI-agenter i forhandlinger, planlegging eller ressursallokering, hvor selv små avvik kan få store konsekvenser. For norske arbeidsplasser som implementerer autonome AI-agenter, betyr dette et skifte fra reaktiv overvåking til proaktiv sikkerhetsdesign. Bedrifter må vurdere å investere i verifiseringsprosesser for å garantere at AI-agentene kun utfører godkjente oppgaver, særlig der agentene interagerer med fysiske systemer eller sensitive data. Manglende formell verifisering kan ellers føre til sikkerhetsbrudd eller utilsiktede operasjoner som bryter med etablerte policyer.