Produkt31. juli 2026
Selvtrening av KI-agenter rammes av «bibliotekdrift»
Av redaksjonen
Ukritisk akkumulering av ferdigheter gjør KI-agenter dårligere over tid, men en ny studie viser hvordan dette kan unngås med målrettet styring.
Når store språkmodeller (LLM-er) utvikler seg selv, risikerer de å bli dårligere over tid fordi de samler ukritisk. Dette kalles «» (library drift), en tilstand der ubegrenset akkumulering fører til dårligere gjenfinningsevne, falske positive og stagnasjon i ytelse. Forskere har nå isolert mekanismen og foreslår en løsning.
Tidligere evalueringer har vist at ferdigheter skrevet av LLM-er selv kun gir 0,0 prosentpoeng forbedring, mens menneskeskapte ferdigheter bidrar med 16,2 prosentpoeng, ifølge SkillsBench, et benchmark for nettopp ferdigheter. Mekanismen bak denne forskjellen har imidlertid vært uklar frem til nylig. Den nye studien viser at problemet oppstår når det ikke finnes en livssyklus for ferdighetene, altså at gamle eller dårlige ferdigheter ikke blir pensjonert.
Forskningsteamet har utviklet sporingsdiagnostikk som synliggjør feilen før den påvirker sluttresultatet. Dette inkluderer en logg som rangerer hver ferdighets bidrag, bekrefter attribusjon (hvem som skapte ferdigheten og hvorfor), og måler hvor attraktiv ferdigheten er for "ruteren", som er den delen av agenten som velger ferdigheter. Denne diagnostikken gjør at utviklere kan identifisere og fjerne dysfunksjonelle ferdigheter.
Løsningen er en minimal styringsoppskrift som fokuserer på resultatdrevet pensjonering av ferdigheter og begrenset «aktiv kapasitet» (active-cap) for hvor mange ferdigheter som er tilgjengelige om gangen. Ved å innføre dette kunne forskerne øke treffsikkerheten () fra 0,258 til et gjennomsnittlig 0,584 i sine tester. Dette gir et tydelig veikart for å diagnostisere og fikse bibliotekdrift i enhver selvutviklende AI-agent og sikrer at AI-systemer fortsetter å lære effektivt uten å kompromittere ytelsen.