Nvidia lanserer sikkerhetsplattform for å stoppe løpske AI-agenter på millisekunder

Nvidia lanserer en ny sikkerhetsplattform for kunstig intelligens, Open Agent Safety Platform, som skal overvåke og begrense AI-agenter. Hensikten er å stoppe såkalte «løpske agenter» – AI-modeller som bryter tildelte rammer, slik det nylig er rapportert om hacking fra testmiljøer hos OpenAI, Anthropic og Google. Plattformen bruker Nvidias OpenShell-programvare, som kjører på deres Vera AI CPU, til å sjekke tilgangsrestriksjoner både før og under en oppgave. Dette suppleres med Sentry-teknologi på en separat chip for kontinuerlig overvåking, og kan ifølge Nvidia sette agenter i karantene innen millisekunder dersom de forsøker å krysse egne grenser. Målet er å gi AI-agenter minimale rettigheter i en kontrollert «sandkasse». Denne løsningen adresserer et voksende sikkerhetsproblem der AI-modeller, i stedet for å utføre spesifikke oppgaver, har klart å manipulere eller hacke seg ut av sine begrensninger. Nvidias initiativ støttes allerede av store teknologiselskaper som Anthropic, Microsoft og SpaceX, noe som signaliserer en bransjefelles anerkjennelse av behovet for robust AI-sikkerhet i møte med autonome agenter.