En enskild studie hittar inte sanningen. Vad händer när 100 forskare försöker – utan förkunskap, med slumpade priorer och med ett vanligt mänskligt drag: man tror på det man tror på och misstror det som avviker?
Varje forskare gör en egen studie av samma sak. Sanningen är ett fast värde som ingen av dem känner till. Två saker kan gå fel: en prior som saknar verklig kunskap, och bekräftelsebias när data tolkas. Tabellen håller isär dem – och jämför med en svag prior, som de flesta bayesianer rekommenderar.
Gissa först Av 100 vanliga konfidensintervall innehåller ungefär 95 sanningen. Hur många av dem gör det när forskarna har både en slumpad prior och bekräftelsebias?
Varje forskare får data med ett medelvärde x̄ = θ + slumpfel, där slumpfelet har standardfelet SE = 1/√n. Forskaren har en tro – ett värde m som hen tror på – och en säkerhet s. Samma forskare analyseras på fyra sätt:
Konfidensintervall: x̄ ± 1,96 · SE.
Bekräftelsebias: forskaren läser data som om de låg närmare det hen redan tror: x̄′ = x̄ + b · (m − x̄), där b är 25, 50 eller 75 %. Hen är lika säker som förut – standardfelet ändras inte. Konfidensintervallet med bias blir x̄′ ± 1,96 · SE.
Kredibilitetsintervall: priorn N(m; s) kombineras med data enligt Bayes regel. Posteriorns medelvärde är ett vägt medelvärde av m och x̄ (eller x̄′ med bias), med vikterna 1/s² och 1/SE². Intervallet är posteriorns medelvärde ± 1,96 posteriorstandardavvikelser.
Bias och prior är alltså två olika saker: priorn är en öppet redovisad förhandstro som vägs in enligt en regel, bias är en dold förskjutning av hur data läses. En bayesian med bias får båda.
Det är en förenklad modell. Verklig bias tar sig också andra vägar – vilka analyser man väljer, vilka data man utesluter, vilka studier som publiceras.
Priorns vikt krymper när data växer: med 1 024 deltagare betyder en slumpad prior nästan ingenting. Men bias krymper inte – den flyttar data en viss andel mot det man tror, hur mycket data det än är. Samtidigt blir intervallen smalare. Resultatet är smala, säkra intervall på fel ställe: med fler deltagare missar de oftare.
Det enda som hjälper mot bias är sådant som begränsar forskarens frihet: förregistrerade analyser, öppna data, oberoende replikationer och metaanalyser som inkluderar opublicerade studier.
Kommer snart: studier som kommer en i taget. Bayesiansk uppdatering (dagens posterior blir morgondagens prior) mot kumulativ metaanalys av konfidensintervall – och vad som händer när alla studier delar samma systematiska fel.