StepFun lanserer AI-modell på 600 milliarder parametere som krever supermaskiner

AI-selskapet StepFun har nylig gjort sin avanserte modell, Step 5 Preview, tilgjengelig med åpne modellvekter, noe som lar utviklere kjøre den på egen maskin. Modellen er spesielt designet for komplekse oppgaver innen koding, dokumentanalyse og finans, og kan håndtere opptil 1 million tokens kontekst – altså en svært lang «hukommelse» for tekst. Denne nye modellen har 600 milliarder parametere totalt, men bruker kun 27 milliarder aktive parametere per token, takket være en såkalt Mixture-of-Experts-arkitektur. En slik størrelse krever imidlertid spesialmaskinvare; selv den minste konfigurasjonen for lokal kjøring krever fire B300 GPU-er eller åtte H200 GPU-er, som er svært kostbare og kraftige datasenterkomponenter. Modellens prestasjoner varierer: den oppnår sterke resultater på spesifikke områder, som 88,3 prosent på langkontekst resonnering, men sliter mer med andre oppgaver, som bare 33,3 prosent på Terminal-Bench 4.0. For bedrifter betyr dette at man nå kan tilpasse en høytytende agentmodell lokalt uten å sende data til en skytjeneste, forutsatt at man har den nødvendige, spesialiserte infrastrukturen på plass.