Nye tester måler AI-modellers stabile atferd

Forskere har utviklet en psykometrisk metode for å kartlegge hvordan store språkmodeller (LLM-er) oppfører seg konsistent under ulike forhold, selv når de instrueres til å agere som spesifikke "personaer". I stedet for å stole på modellens egenrapportering, bruker de situasjonsbestemte spørsmål (SJT-er) for å observere stabile atferdstendenser. Studien viser at AI-modellenes atferd er stabil på tvers av kjøringer, og at de latente egenskapene, altså de underliggende atferdsfaktorene, forutsier hvordan modellen presterer på eksterne referansepunkter. Dette gir et mer pålitelig bilde av hvordan en LLM faktisk handler, framfor en overfladisk variasjon basert på en gitt persona.