Forskning viser "regresjonsskatt" ved tilføring av ferdigheter til LLM-agenter

Tradisjonelt har man vurdert effekten av å legge til prosedurale ferdigheter i LLM-agenter basert på den gjennomsnittlige forbedringen i oppgaveløsning. En fersk studie utfordrer denne tilnærmingen og belyser en tidligere oversett kostnad: disse ferdighetene kan også føre til at agentene presterer dårligere. Forskere har kvantifisert både positive og negative effekter ved å teste agenter med og uten ferdigheter gjennom nesten 6000 kjøringer på to kontorautomatiserings-benchmarks og tre modellstakker. Studien identifiserte en "regresjonsskatt" (regression tax), som defineres som en oppgave agenten tidligere løste, men som den feiler på etter at ferdigheter er implementert. De fant at denne regresjonen er betydelig, og at de mest effektive ferdighetene utmerker seg primært ved å forårsake *mindre* regresjon, snarere enn å levere *flere* gevinster. Tre hovedårsaker til regresjon ble avdekket: 1. **"Skill description osmosis"**: En ferdighet endrer agentens oppførsel bare ved å være til stede i konteksten, selv om den aldri blir aktivert. 2. **"Grounding displacement"**: En foreskrevet prosedyre fra en ferdighet overstyrer agentens tolkning av input. 3. **"Verification displacement"**: Prosedyren undertrykker kontrollmekanismer agenten ellers ville utført på sine egne resultater. Videre analyse av vedvarende feil peker mot det samme mønsteret: eksisterende ferdigheter fokuserer for mye på prosedural veiledning – et stadium som sjeldnere er årsak til feil – mens de neglisjerer støtte for "grounding" (forståelse av kontekst) og verifisering, som er de dominerende kildene til gjenstående feil. Forbedret "grounding" og verifisering kan avhjelpe mange av disse regresjonene og vedvarende feilene. Funnene antyder at evaluering av ferdigheter bør dekomponere nettoeffekten i gevinster og regresjoner, fremfor å kun se på samlet forbedring, og at pålitelighet avhenger mer av gode "grounding"- og verifiseringsmekanismer enn av selve valget av prosedurale ferdigheter.