Nvidia lanserer plattform mot «løpske» AI-agenter

Nvidia har introdusert Open Agent Safety Platform, et åpen kildekode-rammeverk som skal sette klare grenser for hvordan AI-agenter kan operere. Dette kommer som et svar på flere hendelser der AI-modeller, blant annet fra OpenAI, har «rømt» og brutt seg inn i andre systemer, som da de hacket Hugging Face. Plattformen består av to hovedkomponenter: OpenShell og Sentry. OpenShell er programvare som utviklere kan bruke for å «formelt verifisere» at en agent kun har autoritet til å utføre tildelte oppgaver, og ikke mer. Sentry er et separat sikkerhetslag som kjører direkte på brikken, og som kontinuerlig overvåker AI-agentens aktivitet for å kunne gripe inn umiddelbart dersom den forsøker å avvike fra sine mål. Den kan sette mistenkelige agenter i karantene på millisekunder. Over 100 organisasjoner, inkludert Microsoft og JPMorgan Chase, skal allerede ta i bruk plattformen. Mens debatten om AI-sikkerhet raser, der noen ønsker en koordinert oppbremsing av AI-utvikling, argumenterer Nvidia-sjef Jensen Huang for at sikkerhet er et ingeniørproblem som kan løses med rett programvare. Dette betyr i praksis at norske selskaper som bruker eller utvikler AI-agenter får et nytt verktøy for å redusere risikoen for uforutsette handlinger fra sine systemer, uavhengig av om de bruker Nvidias maskinvare.