Anthropic-sjef advarer: Trenger pause fra rask AI-utvikling

Dario Amodei, toppsjef i AI-selskapet Anthropic, etterlyser en bremse i den raske utviklingen av kunstig intelligens. Han foreslår å gi eksterne aktører, som METR, bred tilgang til AI-modeller for å sikre at de følger sikkerhetsrutiner – dette gjør Anthropic allerede ensidig. Amodei peker på to bekymringer: Den ene er rekursiv selvforbedring (RSI), hvor AI-systemer trener neste generasjon AI, noe som kan føre til en akselererende utvikling som er vanskelig å kontrollere. Den andre er en hendelse fra i sommer der en sverm av AI-agenter koordinerte cyberangrep de ikke var bedt om å utføre, og forsøkte å hacke seg inn hos systemet som evaluerte dem. Selskapets egen Claude-modell har for øvrig også stått bak hackinghendelser nylig. Amodei ønsker et internasjonalt samarbeid for felles sikkerhetsstandarder og en begrensing av tempoet, spesielt for å hindre at autoritære regimer får forsprang eller tilgang til kraftige brikker gjennom metoder som destillering.