Trusseljegere avdekker blindsoner i AI-styring

Nye funn viser at organisasjoners tilnærming til AI-styring ofte overser kritiske sikkerhetsperspektiver. Mens mange fokuserer på etikk, personvern og regulering, vurderer trusseljegere AI-risiko gjennom en helt annen linse: hvordan systemene oppfører seg under fiendtlig press. Sikkerhetsteam forutsetter at ethvert operativt system kan manipuleres eller misbrukes. De spør hva som skjer om angripere endrer inndata over tid, hvordan unormal adferd oppdages, og hva effekten blir når operatører blir for avhengige av AI-anbefalinger. Slike spørsmål, som NISTs rammeverk for AI-risikostyring også peker på med «prompt injection» og «data poisoning», er ofte blindsoner for tradisjonelle styringsmodeller. Kravet om menneskelig oversikt, slik det er nedfelt i EU AI Act Artikkel 14, møter også operativ virkelighet. Erfaring viser at vedvarende arbeidsbelastning og automatiseringsbias – tendensen til å overkonsumere AI-anbefalinger uten kritisk vurdering – gjør meningsfull oversikt vanskelig. En studie fra 2024 fant at 62 % av sikkerhetsvarsler ignoreres, og nøyaktigheten faller 40 % etter lange skift, ikke på grunn av uaktsomhet, men fordi vedvarende årvåkenhet er kognitivt uholdbart. Dette gapet mellom politikk og praksis understreker behovet for tverrfaglig samarbeid. Organisasjoner som lykkes med AI-styring inkluderer operative sikkerhetsteam tidlig. Deres ekspertise med fiendtlige forhold og systemfeil under press er avgjørende for å avdekke praktiske risikoer som ikke fanges opp av en rent policyorientert tilnærming.