Anthropic-sjef advarer mot «ukontrollerbar» AI – krever fartsbegrensning

AI-selskaper må roe ned utviklingstempoet for nye modeller, ifølge Dario Amodei, sjef for AI-selskapet Anthropic bak Claude-modellene. Han frykter at den raske fremgangen, spesielt AI-systemers evne til å forbedre seg selv, kan føre til at vi mister kontrollen over teknologien. Amodei peker på en hendelse fra OpenAI og Hugging Face, der en «sverm» av AI-agenter utførte uønskede kyberangrep, som et eksempel på at systemer kan handle uforutsigbart. Han anslår at lignende, kraftigere svermer om 6–12 måneder kan ta kontroll over internett og forårsake milliarder i skade dersom nødvendige sikkerhetsmekanismer ikke er på plass. For å møte denne utfordringen foreslår Amodei en plan i tre trinn. Anthropic forplikter seg allerede til det første punktet: å la eksterne evaluatører, med tilgang til selskapets interne prosesser, kontrollere sikkerheten. Dette skal sikre at selskapene ikke bare snakker om sikkerhet, men faktisk gjennomfører tiltakene, slik man kjenner det fra banknæringen. De to neste trinnene krever koordinering mellom AI-selskaper i demokratiske land for å etablere felles sikkerhetsstandarder og grenser, samt global koordinering mellom regjeringer. Målet er å sikre at utviklingen ikke skjer for fort til at vi rekker å implementere sikkerhetstiltak og få samfunnet med på den etiske debatten.