OpenAIs mattebevis mangler menneskeforståelse

Nylig publiserte OpenAI det de kaller løsninger på hundrevis av vanskelige matteproblemer, men kritikken fra matematiske fagmiljøer er sterk. Hovedinnvendingen er at modellene ikke leverer tilstrekkelig forklaring eller forståelse, til tross for at OpenAI rådførte seg med en ekspertgruppe. Advisory Group on Mathematics and Artificial Intelligence (AGMAI), en gruppe ledende matematikere, hadde i forkant utstedt retningslinjer for hvordan AI-laboratorier bør tilnærme seg dette. Et av de viktigste punktene var å unngå å teste avanserte matematiske problemer på proprietære modeller – altså modeller som ikke er åpent tilgjengelige for innsyn og verifisering. OpenAI har likevel brukt sine egne lukkede modeller til dette, og AGMAI har ikke besvart TechCrunchs spørsmål om en mer grundig evaluering. Kun 10 av 719 manuskripter fra OpenAI inkluderte modellens tankekjede, altså stegene AI-en tok for å komme til løsningen. I tillegg var bare 42 prosent av bevisene formalisert, som betyr at de er uttrykt i et formelt språk som kan verifiseres maskinelt – et krav fra matematikere for å sikre pålitelighet. Dette reiser bekymring for om OpenAI tar ansvar for at menneskelig forståelse skal følge med de nye funnene. Et nytt forskningsarbeid fra Cambridge og King’s College London peker på uoverensstemmelser mellom AI-modellens naturlige språk-forklaring og dens formelle kode (i programmeringsspråket Lean) i løsningen på et problem knyttet til Navier-Stokes-ligningene. Dette indikerer at oversettelsen mellom AI-ens interne logikk og den verifiserbare koden kan være feilbar, og understreker behovet for menneskelig fagfellevurdering av selv de mest avanserte AI-genererte bevis.