Ny AI-metode tredobler behandlingshastigheten for lange tekster

Forskere ved ICML 2026 presenterer BinaryPC, en ny metode for sparsom oppmerksomhet som kan tredoble hastigheten i avkodingen av store språkmodeller (LLMs). Teknikken forbedrer gjennomstrømningen med 3,56 ganger sammenlignet med FlashAttention, spesielt ved håndtering av lange kontekster. BinaryPC skiller seg ut ved å være "training-free" – den krever ingen tilleggstrening – og er "data-aware", altså data-bevisst. Metoden genererer kompakte, binære hash-koder basert på dataprinsipper, i motsetning til mer tilfeldige eller gradient-baserte tilnærminger. Dette bevarer nøyaktigheten til den fulle oppmerksomhetsmekanismen, samtidig som den reduserer beregningsbehovet. Praktisk betyr dette raskere og mer effektive LLMs for komplekse oppgaver.