Text-to-SQL-systemer utfordres av rollebasert tilgangskontroll

Nye studier avdekker betydelige mangler ved eksisterende testmetoder for Text-to-SQL-systemer, som oversetter naturlig språk til SQL-spørringer. Forskere har funnet at standardiserte tester ofte overser faktorer som rollebasert tilgangskontroll (RBAC), en vanlig sikkerhetsmekanisme i databaser. Dette betyr at systemer som scorer høyt i et fritt tilgjengelig miljø, kan prestere dårlig når tilgangsbegrensninger implementeres, enten ved å bryte sikkerhetsreglene eller feilaktig avvise gyldige spørringer. For å adressere dette har et team utviklet et nytt rammeverk for testing av Text-to-SQL under RBAC-betingelser. Dette rammeverket benytter LLM-er for å generere realistiske brukerroller og tilgangspolicyer, basert på databasets struktur. Prosessen inkluderer manuell kvalitetssikring utført av domeneeksperter. Resultatet er et utvidet testdataarkiv og nye evalueringsmetrikker som skiller mellom systemets evne til å generere korrekt SQL og dets evne til å overholde tilgangskontrollen. Funnene fra testene, utført på ledende Text-to-SQL-systemer, indikerer at mange av disse, særlig åpen kildekode LLM-er, opplever en markant nedgang i ytelse når RBAC-begrensninger innføres. Resultatene understreker viktigheten av å inkludere realistiske sikkerhetskontekster i fremtidig utvikling og evaluering av AI-baserte databaseverktøy.