DeepSeek åpner kildekoden til motoren bak egne toppmodeller

DeepSeek har gjort rammeverket DeepInfer tilgjengelig som åpen kildekode under Apache 2.0-lisensen. Dette er programvaren som faktisk håndterer inferens – altså prosessen der en ferdigtrent modell svarer på henvendelser – for selskapets nyeste modell, DeepSeek-V4.1-Flash. Ifølge selskapet leverer ett enkelt serveroppsett svimlende 155 billioner tokens i døgnet. For norske utviklingsmiljøer og IT-sjefer gir kildekoden et sjeldent innblikk i hvordan store teknologimiljøer optimaliserer driften for å presse ned driftsutgiftene. DeepInfer oppnår over 25 000 tokens i sekundet per grafikkprosessor under decode-fasen på 64 brikker. Ytelsen drives blant annet av teknikken DSpark, som forutser neste ord mer effektivt og kutter kontrollregningen for utkast med rundt 30 prosent. Løsningen er likevel ikke en plug-and-play-tjeneste for vanlige norske bedrifter. Rammeverket støtter foreløpig bare én spesifikk modell, krever tung maskinvare som Nvidias nye Blackwell-brikker eller Huaweis Ascend 950, og støtter utelukkende offline-kjøring uten ferdige systemer for nettlastbalansering.