Forskning31. juli 2026
Nye tester måler AI-modellers stabile atferd
Av redaksjonen
Forskere har utviklet en metode for å måle konsistente atferdstendenser hos store språkmodeller (LLM-er) ved hjelp av situasjonsbestemte spørsmål, noe som gir mer pålitelige vurderinger.
Forskere har utviklet en psykometrisk metode for å kartlegge hvordan store språkmodeller (LLM-er) oppfører seg konsistent under ulike forhold, selv når de instrueres til å agere som spesifikke "personaer". I stedet for å stole på modellens egenrapportering, bruker de (SJT-er) for å observere stabile atferdstendenser.
Studien viser at AI-modellenes atferd er stabil på tvers av kjøringer, og at de latente egenskapene, altså de underliggende atferdsfaktorene, forutsier hvordan modellen presterer på eksterne referansepunkter. Dette gir et mer pålitelig bilde av hvordan en LLM faktisk handler, framfor en overfladisk variasjon basert på en gitt persona.