En undersøgelse, der ikke er lavet ordentligt, kan ikke bruges. Punktum

Coronapandemien har været med til at øge den almindelige forståelse af betydningen af data og statistisk analyse. Men der er god grund til at være skeptisk over for, hvordan de er udarbejdet, og hvordan de bruges.

Under coronakrisen er mange danskere blevet meget mere  »statistisk bevidste«. Det lover godt, mener professor ved CBS Nicolai Foss. Arkivfoto: David Leth Williams/Ritzau Scanpix Fold sammen
Læs mere

Vores tid står i dataanalysens tegn. Dataanalyse indgår som beslutningsstøtte i snart sagt alle tænkelige sammenhænge fra den økonomiske politik, pandemien, vaccineeffektivitet, nationale test i folkeskolen og vælgerbevægelser på samfundsniveauet til HR-analyser, tilfredsundersøgelser og undersøgelser af forekomsten af sexisme i organisationer og virksomheder.

Analyserede data udgør ikke blot objektiv beslutningsstøtte, men også ofte legitimering. Positivt drejer det sig om at vise, at beslutninger finder støtte i, hvad vi mener er fakta. »Evidens« er blevet dagligdags terminologi.

Men der er også et negativt aspekt af legitimering, som kan opstå, når der er incitament til at manipulere for at støtte bestemte forestillinger eller beslutninger, der reelt allerede er truffet. Man kan være selektiv med hensyn til, hvilke respondenter man spørger, og hvordan man spørger dem, således at man kommer tættere på det resultat, man ønsker sig.

Der er muligheder for at manipulere selve den statistiske analyse. Uønskede data kan udelades. Resultater, der ikke rigtig passer, udelades. Det er måske det, den tidligere britiske premierminister Benjamin Disraelis' bonmot refererer til: »Der er tre slags løgn: Løgn, forbandet løgn,og statistik.«

»Men måske er der grund til at være optimistisk. Pandemien har været med til at øge den almindelige forståelse af betydningen af data og statistisk analyse.«


For nogle år siden skønmalede Fyns Politi i en evalueringsrapport sit »dialogprojekt« i Vollsmose. Efter at en forsker havde vist, at undersøgelsen var så dårligt lavet, at intet kunne konkluderes fra den, bemærkede den ansvarlige politichef: »Det er en intern evaluering … vi har på intet tidspunkt haft til hensigt at lave en egentlig videnskabelig projektevaluering.«

Jeg har ikke tal på, hvor ofte jeg har hørt varianter af følgende fra ledere: »Det er ganske vist ikke en videnskabelig undersøgelse, men ...«

Det er bare en tilståelsessag: En undersøgelse, der ikke er lavet ordentligt, kan ikke bruges. Punktum.

Selvom motiverne er gode, kan kompetencen være fraværende. De forkerte data er måske indsamlede, analysen er lavet forkert, konklusionerne støttes ikke af data etc. Det forhindrer ikke, at der ofte konkluderes endog meget håndfast, hvilket kan give medieomtale og påvirke organisationens handlen.

Epidemiologen Torsten Skov har analyseret et grelt eksempel på en fejlagtig undersøgelse om forekomsten af sexisme på Aarhus Universitet. En lignende undersøgelse havde en meget lille responsrate, formentlig under to procent (den er ikke angivet i artiklen). Man er nødt til at undersøge, i hvilket omfang en så lille stikprøve er repræsentativ (særligt når den som i undersøgelsen næsten helt sikkert ikke er det), men det blev ikke gjort.

Pandemiens optimist

For nogle år siden gik der en bølge af »engagement«-undersøgelser gennem dansk erhvervsliv. De blev ofte ringe udført. I en case, jeg har kendskab til, stod HR-afdelingen for undersøgelsen. En anden afdeling i virksomheden med medarbejdere med statistisk kompetence kritiserede den hårdt. Direktionen gav kritikerne mundkurv på. Undersøgelsen var ikke videnskabelig, men alligevel en »god indikator«.

Det holder bare ikke. Når (gode) forskere nogle gange kan forekomme at være lettere besatte med hensyn til spørgeskemadesign, dataanalyse, metodikker etc., er det jo simpelthen, fordi de ønsker at kunne sige noget validt korrekt om verden – og dermed tilvejebringe god beslutningsstøtte.

Danske organisationer og virksomheder bruger mange ressourcer på design af undersøgelsesinstrumenter og dataanalyse. Har de ikke selv de nødvendige kompetencer, må de skaffes udefra. Dyre, dårlige undersøgelser føjer spot til skade. Ikke blot spilder de ressourcer, de risikerer også at give et fejlagtigt grundlag for beslutningerne.

Men måske er der grund til at være optimistisk. Pandemien har været med til at øge den almindelige forståelse af betydningen af data og statistisk analyse. Jeg blev for nylig irettesat på Twitter af en standupkomiker, der mente, at jeg ikke rigtig forstod begrebet »skæv udvælgelse«. Det tror jeg så måske, jeg gør, men det var faktisk en opmuntrende tildragelse. Mange er blevet meget mere »statistically literate«. Det lover godt.