Ny sporingstjeneste rangerer AI-modeller etter prestasjon

Den nye «AI Frontier Model Tracker» fra DemandSphere gir en felles oversikt over store AI-modeller, både proprietære og åpen kildekode. Tjenesten rangerer modellene etter resultater fra anerkjente tester, som for eksempel MMLU-Pro, en test for graduate-nivå, og HumanEval, som måler kodeferdigheter, for å gi et sammenligningsgrunnlag. Formålet er å hjelpe virksomheter med å vurdere hvilke modeller som egner seg best for spesifikke oppgaver, uten å måtte grave gjennom separate kilder for hver modell. Dette skal gjøre det enklere å følge med på utviklingen og velge riktig AI-verktøy, selv om scorene fra leverandørene ikke alltid er direkte sammenlignbare.