Replicatiestudies zelf onjuist? In 2017 claimde een groep van 270 wetenschappers, die zichzelf de Open Science Collaboration noemen, dat ze hadden geprobeerd om 100 psychologische studies te repliceren en dat dit in meer dan de helft van de gevallen niet was gelukt. Het deed veel stof opwaaien en er ontstond een replicatie-crisis in de psychologie. Veel twijfels over de kwaliteit van psychologisch onderzoek en over wat we kunnen geloven van de onderzoeksresultaten van veel psychologisch onderzoek.

Replicatiestudies onjuist?

Maar Daniel Gilbert, Gary King, Stephen Pettigrew en Timothy Wilson hebben de aanpak van de OSC grondig bekeken en komen nu tot de conclusie dat de OSC zelf de fout in is gegaan. De opzetten van de studies die bedoeld waren om oorspronkelijke studies te repliceren, waren regelmatig totaal anders van opzet, zo stellen deze onderzoekers.

Statistische fouten

Dat had twee belangrijke consequenties. Ten eerste ontstonden statische fouten in de replicatiestudies, waardoor de OSC significant onderschatte hoeveel van hun replicatiestudies zouden moeten falen om dezelfde resultaten te krijgen als de oorspronkelijke studies puur op basis van kansberekening. Als je die statische ruis wel meeneemt in de conclusies, dan faalde er niet meer replicatie studies dan je zou verwachten wanneer alle 100 originele studies correct waren geweest.

Afwijkingen

Ten tweede ontdekten Gilbert et al, dat de replicatiestudies die in mindere mate leken op de oorspronkelijke studies vier keer meer kans hadden om niet dezelfde resultaten te genereren dan de replicatiestudies die wel sterk leken op de oorspronkelijke studies. Een voorbeeld.

Blank

In een studie aan Stanford University werd aan vier blanke studenten een video vertoond, waarin zij vier andere studenten zagen discussiëren over de toelatingsprocedure van de universiteit. Drie van die studenten waren blank en een had een donkere huidskleur. De onderzoekers in de oorspronkelijke studie observeerden hoe lang de vier blanke studenten naar de student met de donkere huidskleur keken, als die opmerkelijke uitspraken deed over voorkeursbehandelingen voor studenten met een donkere huidskleur.

Engels

In de replicatiestudie lieten de onderzoekers dezelfde video zien aan studenten aan de universiteit van Amsterdam. Deze studenten in Amsterdam keken dus naar een video van vier studenten, die in het Engels praatten over een onderwerp dat geen relevantie had voor hen. Geen wonder dat de replicatiestudie niet dezelfde resultaten vond als de oorspronkelijke. Maar nog erger is het dat de onderzoekers van de replicatiestudies dit waarschijnlijk zelf ook inzagen en daarom een nieuwe replicatiestudie deden in USA. Die replicatiestudie liet wel dezelfde resultaten zien als de oorspronkelijke studie. Maar in het overzicht van 100 studies die gerepliceerd konden worden, namen de onderzoekers niet de succesvolle replicatie op maar de replicatie van Amsterdam.

Precies

In veel psychologische onderzoeken gaat het juist om hele kleine precieze interventies. Dat zie je bijvoorbeeld in de onderzoeken van Timothy Wilson en van Carol Dweck, waarin soms een enkele zin tot lange termijn effecten leidde. Dat maakt het precies repliceren van dergelijke onderzoeken m.i. bijzonder belangrijk. Voor het effect van kleine interventies zie bijvoorbeeld ook hier.

Replicatiestudies zelf onjuist?

Naast deze kritiek, hebben Gilbert, King, Pettigrew en Wilson ook kritiek op welke studies zijn meegenomen in de replicatiestudie. Zij vinden dat bepaalde onderzoeksdomeinen, waar juist veel robuust onderzoek heeft plaatsgevonden, onvoldoende is meegenomen in de replicatiestudie.
Het artikel van Gilbert et al. kun je hier lezen.

Herstel

Gilbert et al spreken de hoop uit de OSC net zo haar best zal doen om de (wat hen betreft) foute indruk die ze heeft gewekt door te stellen dat er sprake is van een replicatiecrisis te herstellen als ze deed toen ze vorig jaar stelde dat er een replicatiecrisis was.

Geloofwaardigheid

Ik ben heel benieuwd naar de reactie van OSC. Al met al kan de kwaliteit van psychologisch onderzoek alleen maar verder verbeteren als gedegen wetenschappers elkaars werk kritisch blijven beoordelen en elkaar blijven uitdagen. En dat zal de geloofwaardigheid van psychologisch onderzoek doen toenemen.

]