Næringsliv1. august 2026
Måler effekt av AI-endringer billigere med surrogatmodell
Av redaksjonen
Pinterest har utviklet en metode for å måle effekten av endringer i AI-systemer betydelig billigere, ved å erstatte kostbar AI-merking med en kalibrert surrogatmodell.
Pinterest har lykkes med å redusere kostnadene for å overvåke effekten av AI-endringer i sanntid. Ved å ta i bruk en surrogatbasert prevalensmåling, kan de analysere hundrevis av parallelle daglig.
Tidligere krevde slik måling at store språkmodeller (LLM-er) merket data for hvert eksperiment, noe som var kostbart. Den nye metoden kalibrerer i stedet en maskinlæringsmodell (ML-score buckets) globalt, basert på en jevn strøm av LLM-merkede data. Denne kalibreringen gjenbrukes så for alle eksperimenter.
Systemet gir daglige resultater for over 20 ganger flere testgrupper (arms) enn før, med samme budsjett. Over 300 kontroller viser at systemets målinger ligger innenfor en 95 % i 92 % av tilfellene, sammenlignet med referansepunkter fra LLM-er. Metoden fanger opp relative endringer på 2-5 prosent, noe enkeltstående LLM-målinger ikke klarer.
Dette gjør det mulig for plattformer å raskt vurdere konsekvenser av nye funksjoner eller algoritmer, uten den tradisjonelle flaskehalsen knyttet til manuell eller kostbar AI-merking av data. Kalibreringen oppdateres kontinuerlig for å reflektere endringer i brukeratferd og datatrafikk.