Ordliste
Key-Value (KV)-cache
Et minneområde i transformatorarkitekturer som lagrer tidligere beregnede nøkkel- og verdi-par for å øke hastigheten på videre tekstgenerering (inferens).
Notiser som nevner dette begrepet
Ingen publiserte notiser har koblet «Key-Value (KV)-cache» ennå.
Nyhetsbrev
Få nyhetsbrevet i innboksen
Hvert nyhetsbrev samler ukens viktigste AI-nyheter — korte, kildebelagte saker skrevet for norske lesere. Du får en e-post med nytt nyhetsbrev, gratis. Vil du heller lytte? Nyhetsbrevet finnes også som podkast. Du kan melde deg av når som helst.