LLM-er holder kompleks tilstand over 196 trinn, knekker MD5-utfordring

Nye funn utfordrer forestillingen om at store språkmodeller (LLM-er) har store problemer med å holde styr på informasjon over mange trinn. Forskere har testet en modell ved å la den beregne en MD5-hash, en kryptografisk sjekksum, gjennom en sekvens på hele 196 avhengige verktøykall over 64 runder. Vanligvis fører feil i slike lange sekvenser til kaskader og totale sammenbrudd. Men modellen «gpt-oss-120b», en Mixture-of-Experts-modell med rundt 5,5 milliarder aktive parametere per token, klarte å opprettholde fire 32-bits ord (tilstand) gjennom alle kallene og returnerte korrekt hash på flesteparten av kjøringene. Dette skjedde selv når hver verktøyfunksjon ble erstattet av en sekundær LLM. Studiens metode isolerte utfordringen med å bevare tilstand fra tolkning av instruksjoner, da MD5-beregningen ble implementert fra bunnen av. Nøkkelen til suksessen var to faktorer: at modellen beholdt sin egen resonnering i konteksten for hver tur, og en avstemmingsmekanisme for å korrigere regnefeil fra hjelpemodellen. Resultatene viser at LLM-er kan håndtere komplekse, avhengige oppgaver bedre enn antatt, men at metoden for å bevare intern tilstand er avgjørende.