Kwantitatief onderzoek voor journalisten - Joris Boonen & Mark Pluymaekers

1.3 Een voorbeeld van goed kwantitatief onderzoek

Waarom dit volgens ons een heel betrouwbare conclusie was, lichten we hier toe op basis van het volledige rapport met de methodologische en statistische informatie die bij het persbericht van CBS verscheen (Kloosterman, 2018). Ten eerste was er volledige transparantie over de populatie en was er sprake van een representatieve steekproef . De populatie bestond uit alle personen van achttien jaar of ouder in particuliere huishoudens in Nederland. Op basis van gegevens van de Gemeentelijke Basisadministratie (GBA) werd een grote toevalssteekproef getrok ken van maar liefst 3.339 respondenten, van wie 55,8% de enquête daadwerkelijk invulde. Het CBS heeft vervolgens een non-responsanalyse gedaan (analyse van de uitgenodigde participanten die niet deelnemen aan het onderzoek), om te onder zoeken of de profielen van de volwassenen die niet hadden geantwoord afweken van die van degenen die wel reageerden. Vervolgens gingen de onderzoekers na of de samenstelling van de steekproef afweek van de hele populatie, en hebben ze waar nodig een correctie toegepast. Dat betekent dat ze de resultaten hebben herwogen op basis van de kenmerken leeftijd, geslacht, burgerlijke staat, herkomst, omvang van het huishouden, provincie en mate van stedelijkheid. Kortom, alles werd in het werk gesteld om tot een steekproef te komen die representatief was voor de Neder landse volwassen bevolking. Ten tweede stelde het CBS vragen over dit thema die ze niet zelf hadden bedacht, maar die uitvoerig getest en gevalideerd waren in ander onderzoek. In dit geval ging het om vragen over perceived ethnic threat uit het ‘European Social Survey (ESS)’ (European Social Survey, 2020; Billiet et al., 2014). De data verzamelden ze volgens de regels van de kunst, dus door de respon denten professioneel te benaderen op verschillende manieren. Alle geselecteerde volwassenen ontvingen een persoonlijke brief, waarin hun werd gevraagd om de vragenlijst online in te vullen. Deden ze dat niet, dan volgden er nog twee schrif telijke herinneringsrondes. Als dat nog niet werkte, werden respondenten die niet hadden geantwoord opgebeld, of werden ze door een interviewer thuis opgezocht. Een intensieve en dure procedure, die nodig was om een eerlijk beeld te krijgen van de opvattingen van de Nederlandse bevolking. Het zou zonde zijn om dermate zorgvuldig verzamelde data vervolgens niet cor rect te analyseren. Ook op dat gebied maakte het CBS zijn naam waar. Ze waren volledig transparant over alle berekeningen die ze op de verzamelde data loslieten en gebruikten geschikte statistische analyses om patronen in de dataset te onder zoeken. Toen ze bijvoorbeeld concludeerden dat ‘mannen minder positief staan tegenover vluchtelingen dan vrouwen’, deden ze dat niet enkel op basis van een la gere gemiddelde score bij mannen, maar onderzochten ze ook of het verschil tussen mannen en vrouwen statistisch significant was.

21