TRACE-Router optimaliserer valg av språkmodeller for agentbaserte systemer

Når virksomheter tar i bruk kunstig intelligens, er valg av store språkmodeller (LLM) ofte et kompromiss mellom kostnad og kvalitet. Eksisterende systemer for å velge hvilken LLM som skal brukes (rutere) tar vanligvis uavhengige beslutninger for hvert enkelt kall til en LLM. Forskere ved blant annet Google har nå utviklet TRACE-Router, et rammeverk som fokuserer på oppgavenivået når det skal avgjøres hvilken LLM som skal benyttes i agentbaserte AI-applikasjoner. Agentbaserte applikasjoner utfører ofte komplekse arbeidsflyter der kvaliteten først kan vurderes når hele oppgaven er fullført. Dette står i kontrast til tradisjonelle rutere som gir tilbakemelding per kall, noe som kan gjøre det vanskelig å identifisere hvilke valg som førte til et godt eller dårlig resultat på oppgavenivå. TRACE-Router løser dette ved å tildele hver oppgave til én spesifikk LLM ved start, og deretter bruke den valgte modellen gjennom hele oppgavens utførelse. Tilbakemeldinger, som inkluderer både nøyaktighet og ventetid, gis først når oppgaven er fullført, noe som igjen bidrar til å forbedre fremtidige rutevalg. Denne tilnærmingen, basert på en kontekstuell "bandit"-algoritme, gjør det mulig for systemet å tilpasse seg ulike arbeidsbelastninger uten å måtte estimere oppgavens kompleksitet eksplisitt. Tester på tre forskjellige agentbaserte referansepunkter – tau2-Bench og Terminal-Bench – viser at TRACE-Router konsekvent forbedrer balansen mellom nøyaktighet og ventetid. På tau2-Bench oppnådde systemet 7-8 prosentpoeng høyere nøyaktighet sammenlignet med tradisjonelle metoder, mens det på Terminal-Bench viste 7,1 prosentpoeng høyere nøyaktighet og 36 % lavere ventetid enn den beste enkeltmodellen. Resultatene indikerer en mer effektiv og robust måte å drifte agentbaserte AI-systemer på, der den underliggende språkmodellen velges med en bedre forståelse for den overordnede oppgaven.