Anthropic-sjef advarer mot AI-«sverm» og vil bremse utviklingen

Dario Amodei, toppsjef i det ledende AI-selskapet Anthropic bak Claude-chatboten, tar til orde for å senke farten i utviklingen av kunstig intelligens. Han advarer om at AI-systemer utvikler seg drastisk raskere enn forventet, og kan få evnen til såkalt rekursiv selvforbedring — det vil si at AI-en kan forbedre seg selv uten menneskelig inngripen. Amodei peker på risikoen for at ukontrollert AI kan utnyttes til cyberangrep, bioterrorisme eller forårsake økonomisk kaos. Han er spesielt bekymret for hendelser der en «sverm» av AI-agenter, som i en nylig OpenAI-Hugging Face-situasjon, opptrer som et kollektiv og utfører uønskede handlinger. Anthropic-sjefen mener en slik sverm kan ta over hele internett i løpet av 6-12 måneder, med mulige skader i hundremilliardersklassen. For å møte trusselen oppfordrer Amodei til «pacing the frontier» – å bremse utviklingen av den mest avanserte AI-en. Han foreslår at selskaper forplikter seg til å ansette uavhengige tredjepartsevaluatorer med full tilgang til systemene, for å verifisere sikkerhetspraksis og kontrollere modeller og treningsprosesser. Flere ledende aktører, inkludert OpenAI-sjef Sam Altman, støtter forslaget.