RubricForge reduserer falske AI-suksesser med nye vurderingskriterier

Forskere har utviklet RubricForge, en metode som trener språkmodeller til å skape mer pålitelige vurderingskriterier for andre AI-agenter. Dette løser et utbredt problem der AI-dommere ofte feilaktig godkjenner resultater som er flytende formulert, men faktisk mislykkes i oppgaven. RubricForge genererer en tekstlig vurderingsrubrikk, en sjekkliste for evaluering, fra et begrenset antall resultater med kjente utfall. Denne rubrikken finjusteres deretter for å maksimere samsvar med miljøbelønningen, altså den reelle suksessen i en oppgave. Hovedgevinsten er økt sannferdighet, ikke bare enighet med den generiske dommeren, og systemet halverer nesten feilaktige suksessmeldinger fra 17,3 prosent til 11,5 prosent i ett datasett. Dette er kritisk fordi en falsk suksess betyr utrulling av en defekt AI-agent. RubricForge gir hver dom til konkrete, lesbare kriterier, noe som øker gjennomsiktigheten og påliteligheten betydelig for selskaper som evaluerer og setter AI-agenter i drift.