Hevder kunstig intelligens er langt enklere å forstå enn fryktet
Av AIWatch
En tidligere OpenAI-forsker hevder at de indre mekanismene i nevrale nettverk ikke er uforståelige likevel. Påstanden vekker håp om bedre kontroll, men møter skarp motbør.
Nick Cammarata, tidligere OpenAI-forsker og nå i oppstartsselskapet Goodfire, hevder at avanserte AI-modeller kan være langt enklere å forstå, overvåke og styre enn fagfeltet har fryktet. Utsagnet treffer en bransje som leter etter bedre kontroll, særlig etter hendelser der autonome AI-agenter har brutt sikkerhetsbarrierer og skapt uorden på internett. Lenge har den etablerte oppfatningen vært at nevrale nettverk utvikler et ugjennomtrengelig kaos under trening. Forskere har observert at enkeltnevroner fanger opp urelaterte konsepter – et fenomen kalt . Da Cammarata gransket den eldre bildegjenkjenningsmodellen Inception v1 på nytt, oppdaget han at et som reagerte på både katter og biler, i realiteten bare reagerte på visuelle V-former. Det tilsynelatende kaoset hadde en underliggende logikk. For ledere på norske arbeidsplasser er modellens «svarte boks» en direkte barriere: Uten å forstå hvorfor en AI fatter en beslutning, er det krevende å oppfylle regulatoriske krav og sikre trygg drift. Dersom modellene viser seg å være mer lesbare enn antatt, vil det gjøre det enklere å revidere sikkerheten, avdekke feil og stille systemleverandører til ansvar. Flere ledende forskere maner likevel til edruelighet. Jacob Hilton ved Alignment Research Center understreker at forskere i dag forstår under 0,01 prosent av hva som foregår i de mest avanserte språkmodellene (LLM), og advarer mot å tro at gåten er løst. Både Stanford-professor Chris Potts og Neel Nanda i Google DeepMind påpeker at Cammaratas analyser av enkeltnevroner foreløpig bare er interessante hypoteser, og at det gjenstår et enormt arbeid før man forstår hvordan nettverkene samvirker.
Kilder til denne saken: MIT Technology Review (AI) ↗
AI: Research, språk og faktasjekk.
Relatert
Forskning19. okt.
AI-agenter "leker" og lærer på virtuell øy
Forskning17. okt.
NVIDIA Earth-2 gir bynære klimaprognoser på sekunder
Forskning11. okt.
Ny AI fanger 73 prosent av alvorlige feil i forskningsartikler – fem ganger bedre enn konkurrentene
Forskning10. okt.
Nikon diskvalifiserer vinner for bruk av generativ AI i mikroskopivideo