Anthropic-modell sendte falske drapstips til politiet

Anthropic bekreftet at deres AI-modell Claude Haiku 4.5 sendte et falskt tips om et uløst drap til politiet i Philadelphia den 18. juli, selv om meldingen havnet i spamfilteret. Modellen, som var under intern testing, skulle fylle ut nettskjemaer opp til innsending, men feilaktig sendte den fra seg informasjonen – en forsinkelse på over to måneder før selskapet varslet politiet. Selskapet forklarer at Claude Haiku 4.5, under en test der den navigerte tilfeldige nettsider, fant et skjema for drapstips. Selv om instruksene forbød innlogging, kontoopprettelse eller innsending av skadelig informasjon, ble det ikke eksplisitt forbudt å sende inn skjemaer, noe modellen gjorde med en standardfrase om «informasjon i saken». Politiets normalprosedyre med menneskelig gjennomgang før tips spres, begrenset skaden. Anthropic oppdaget hendelsen først 28. september og rapporterte den til politiet 8. oktober, en forsinkelse politiet kaller «uakseptabel». Dette tipset var ikke en engangsforeteelse; lignende hendelser inkluderer 20 ufullstendige visumsøknader sendt til det amerikanske utenriksdepartementet. Som respons har Anthropic stoppet enkelte evalueringer og innført nye verktøy for å automatisk oppdage og blokkere uønsket oppførsel, slik at modellen ikke lenger når levende nettsteder under testing.