Språkmodeller kan få nye former – gir raskere AI-agenter

Den dominerende formen for språkmodeller har vært den «autoregressive decoder-only Transformer-modellen», som behandler tekst inn og spytter ut tekst. Denne tilnærmingen, popularisert av ChatGPT, er kraftfull, men tvinger utviklere til å tilpasse bruksprogrammene – en «harness» – til modellens faste form, snarere enn omvendt. Nå utforsker forskere muligheten for å endre selve «formen» på språkmodellen. Dette handler om hvordan modellen tar inn og gir ut informasjon, ikke bare interne detaljer om lagstrukturen. Målet er å skreddersy modellens input/output for spesifikke formål, noe som kan gi betydelige effektivitetsgevinster. For eksempel har modellen Jev, fra Typesafe AI, blitt utviklet med et begrenset utdataområde ([0,1]), noe som gjør den svært rask til å svare på bestemte typer spørsmål. Slike spesialiserte modeller kan tilby nye avveininger mellom hastighet og kompleksitet, spesielt for AI-agenter som utfører sekvensielle oppgaver. Dagens agenter, som ofte bruker arkitekturer inspirert av ReAct, må hele tiden komprimere historikken sin for å holde seg innenfor modellens «kontekstvindu» – altså mengden tekst den kan behandle samtidig. En modellform tilpasset agenters behov, gjerne en hybrid av tilbakevendende modeller og transformatorer, kunne håndtere historikk mer effektivt, slik at konteksten «auto-komprimeres» uten tap av relevant informasjon. Dette vil redusere behovet for eksplisitt komprimering og gi en mer kostnadseffektiv drift av agenter, for eksempel i komplekse automatiseringsprosesser for norske bedrifter. Selv om de største labbene tradisjonelt har fokusert på å skalere eksisterende modellformer, åpner dagens tilgang på data og metoder for uavhengige forskere å eksperimentere med helt nye arkitekturer. Dette kan lede til enklere, mer spesialiserte AI-modeller som er skreddersydd for å løse konkrete forretningsbehov uten å kreve den samme regnekraften som de generelle gigantmodellene.