AI-personasimulering bommer: Enkel LLM mer presis enn «synth-personaer»

Markedsførere bruker i økende grad store språkmodeller (LLM-er) som kunstige personaer, såkalte «synthetic personas», for å forutsi hvordan en målgruppe vil reagere på en tekst. Tanken er at modeller trent med spesifikke profiler kan etterligne menneskelig atferd. En ny studie fra Upworthy Research Archive, basert på tusenvis av faktiske A/B-tester av overskrifter, viser imidlertid at denne metoden er feilslått. Forskerne sammenlignet et panel med ti personaer, basert på reelle demografiske data, mot en enkel «no-persona»-tilnærming. Sistnevnte spurte bare modellen direkte om en typisk leser ville klikke. Resultatene er tydelige: Den enkle tilnærmingen uten personaer var betydelig bedre til å rangere overskriftene korrekt. Med en Kendall-tau på 0.361 og topp-1 nøyaktighet på 49.2%, slo den personasimuleringen, som bare oppnådde 0.084 og 34.6%. Dette betyr at å tvinge modellen til å rollespille introduserer unødvendig støy og feil, og at det er mer effektivt å la modellen trekke på sin generelle kunnskap. Konsekvensen for norske bedrifter er at de bør revurdere kostbare AI-verktøy som baserer seg på kunstige personaer for markedsføringstesting. Funnene holdt stand på tvers av ulike datamengder, prompt-formuleringer og modellvalg – inkludert forskjellige Gemini-versjoner og OpenAI GPT-4.1. Dette indikerer at for å forutsi samlet engasjement, er en nøytral LLM-rangering overlegen, og kunstige personaer er dårligere enn å ikke bruke dem i det hele tatt.