LLM-minnehåndtering gir 72,6 poeng bedre svar

Forskere har avdekket at formatet for hvordan store språkmodeller (LLM) lagrer og presenterer tidligere interaksjoner – deres «minne» – dramatisk påvirker hvor nøyaktige svarene deres blir. Med verktøyet RENDER testet de ni modeller med 500 spørsmål og fant at matchet budsjett for fremstilling av historikk slo tradisjonell, avkortet dialog med hele 42,4 til 72,6 poeng. Studien viser at selv når modeller tidligere scoret 0 prosent på formelle «ledger packets» (strukturerte minneposter), kunne de svare på de samme faktaene med 45,4 til 53,4 prosent nøyaktighet når informasjonen ble presentert i naturlig språk, som ChatGPT-lignende oppføringer. Denne effekten vedvarer også ved støy i datagrunnlaget og overføres til andre oppgaver, noe som understreker behovet for å kontrollere presentasjonsformatet i evalueringer av LLM-er og RAG-systemer.