Microsoft-sjefen krever AI med "nødbrems"

Satya Nadella, konsernsjef i Microsoft, tar til orde for at fremtidens avanserte AI-systemer må utstyres med innebygde mekanismer for kontroll. Han ønsker seg en "nødbrems" som lar autoriserte brukere sette en AI-modell på pause eller slå den av, selv om den er midt i en operasjon. Nadella understreker behovet for å omgi uforutsigbare modeller – såkalte ikke-deterministiske modeller som baserer seg på sannsynligheter – med robust systemdesign. Dette inkluderer menneskelige kontrollsystemer, pålitelige driftsprosedyrer og bransjestandarder som sikrer trygghet, spesielt for de kraftigste AI-modellene, såkalte frontier-modeller. Disse kommentarene kommer i en tid der flere teknologiledere og forskere har uttrykt bekymring for for rask utvikling og manglende sikkerhetstiltak innen AI. Nadella foreslår at AI-systemer bør utformes med prinsipper for "observerbarhet", som innebærer modellmangfold, loggføring av modellens handlinger på en lesbar måte, kontinuerlig testing og uavhengig revisjon. Målet er å kunne stole minst mulig på selve modellen, men mest på systemet rundt den.