Nytt AI-system skal overvåke andre AI-modeller i bedrifter

Norske virksomheter som tar i bruk mer avanserte AI-løsninger, står overfor en ny utfordring: Hvordan sikrer man at de kunstige intelligenssystemene oppfører seg korrekt? Tradisjonell overvåking sjekker kun om teknologien er på plass og fungerer teknisk, men ser ikke om AI-en faktisk gjør det den skal – eller om den feiler på mer subtile måter, som å gi dårlige anbefalinger. Dette behovet har gitt opphav til konseptet «AI-overvåkende-AI», en form for intelligent overvåkingslag som observerer, evaluerer og kontrollerer andre intelligente systemer. Målet er ikke å erstatte menneskelig tilsyn, men å skape et lag som kontinuerlig kan vurdere om en AI handler innenfor sine definerte rammer. For eksempel kan et slikt system oppdage om en AI bruker feil verktøy eller produserer resultater av lav kvalitet. Faglig sett handler det om å skifte fokus fra «systemhelse» – altså om en server er oppe eller om responstiden er lav – til «atferdsansvarlighet», der man vurderer AI-ens faktiske handlinger og utfall. En overvåkende AI kan spore hele beslutningskjeden, fra innputt og prompt til verktøyvalg og sluttresultat, noe som er spesielt viktig for autonome agenter som kan gjøre mange beslutninger for å løse én oppgave. Systemet samler inn telemetridata, som for eksempel prompt, utputt, modellversjon og bruk av verktøy. Disse dataene brukes så til å spore og koble hendelser til en sammenhengende logg. En automatisert evaluering sjekker deretter om AI-ens oppførsel møter forhåndsdefinerte kriterier for nøyaktighet, relevans og sikkerhet, og kan kombinere regelbaserte sjekker med AI-baserte evalueringer. Til slutt styrer et «Policy and Governance Engine» hva AI-systemene har lov til å gjøre, basert på faktorer som brukeridentitet og risikonivå. Hvis en AI oppdages å handle utenfor disse grensene eller utviser unormal oppførsel, kan risikodeteksjonslaget eskalere situasjonen til et menneske eller blokkere handlingen. Dette skaper en kontinuerlig tilbakemeldingssløyfe der AI-ens oppførsel kan granskes, utfordres og korrigeres løpende.