Kwantitatief onderzoek voor journalisten - Joris Boonen & Mark Pluymaekers

joris boonen & mark pluymaekers

kwantitatief onderzoek voor journalisten

verantwoord nieuws maken van cijfers

u i t g e v e r ij

c

c o u t i n h o

Kwantitatief onderzoek voor journalisten

Kwantitatief onderzoek voor journalisten Verantwoord nieuws maken van cijfers

Joris Boonen & Mark Pluymaekers

c u i t g e v e r ij

c o u t i n h o

bussum 2021

© 2021 Uitgeverij Coutinho bv Alle rechten voorbehouden.

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elek tronisch, mechanisch, door fotokopieën, opnamen, of op enige andere manier, zon der voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van reprografische verveelvoudigingen uit deze uitgave is toegestaan op grond van artikel 16h Auteurswet 1912 dient men de daarvoor wet telijk verschuldigde vergoedingen te voldoen aan Stichting Reprorecht (www.repro recht.nl). Voor de readerregeling kan men zich wenden tot Stichting UvO (Uitge versorganisatie voor Onderwijslicenties, www.stichting-uvo.nl). Voor het gebruik van auteursrechtelijk beschermd materiaal in knipselkranten dient men contact op te nemen met Stichting PRO (Stichting Publicatie- en Reproductierechten Organi satie, www.stichting-pro.nl).

Uitgeverij Coutinho Postbus 333 1400 AH Bussum info@coutinho.nl www.coutinho.nl

Omslag: Neo & Co, Velp

Noot van de uitgever Wij hebben alle moeite gedaan om rechthebbenden van copyright te achterhalen. Personen of instanties die aanspraak maken op bepaalde rechten, wordt vriendelijk verzocht contact op te nemen met de uitgever.

ISBN: 978 90 469 0743 6 NUR: 813

Ten geleide

Journalisten zonder cijfers? Die bestaan niet. Van de mediaanprijs van een rijtjes huis tot het percentage werkende mensen in de totale bevolking: een journalisten leven krijgt kleur door data. Enquêtes, peilingen en (onderzoeks)rapporten – al dan niet uitgevoerd op wetenschappelijk verantwoorde wijze – vormen een van de be langrijkste pijlers van het nieuws. Wie met journalisten praat of op een redactie rondloopt, hoort vaak dat het vak om het vertellen van verhalen draait. Dat klopt natuurlijk. Maar naast de benodigde aandacht voor taalgebruik en structuur mag bij nieuwsberichtgeving de statistische onderbouwing niet uit het oog worden verloren. Het is bij uitstek de opdracht van de journalist om juiste en twijfelachtige data van elkaar te onderscheiden, ze in de correcte context te plaatsen en aan de hand daarvan een aantrekkelijk verhaal te presenteren. Journalistiek begint met nieuwsgierigheid, een kritische instelling en honger. Vra gen blijven stellen en blijven wroeten, ook (of juist vooral) als het ongemakkelijk dreigt te worden. In dit inzichtelijke boek krijgen (aspirant-)journalisten een hel pende hand: ze leren in de omgang met cijfers en datasets de juiste vragen te stellen. Wie heeft dit onderzoek uitgevoerd én wie heeft het gefinancierd? Zijn de resultaten in lijn met eerdere bevindingen of is hier sprake van een spectaculaire uitschieter? En is er in die ene grafiek, waaruit bijvoorbeeld moet blijken dat de onderwijsre sultaten van onze leerlingen achteruitgaan, niet gespeeld met waarden op de y-as? Een goede journalist is in staat om het kaf van het koren te scheiden. Daarover bestaat geen twijfel. Waarover de meningen soms wel verschillen, is de wetenschap pelijke geletterdheid van de beroepsgroep. ‘Het probleem van de meeste journalis ten is dat ze menswetenschappen hebben gestudeerd’, zei senior writer voor De Mor gen Joël De Ceulaer hierover in het Gentse studentenblad Schamper . ‘Ik mis echte wetenschappers in de journalistiek. Nu zijn het vaak germanisten of historici − en ik mag dat zeggen, want ik ben zelf germanist − maar dat zijn vaak niet de scherpste messen in de lade. Er zijn veel mensen die denken dat journalistiek hun roeping is omdat ze graag teksten schrijven. Maar dat heeft er nu eens niets mee te maken.’ Onder journalisten is het een gevoelig punt. Op redacties lopen vandaag de dag inderdaad hoofdzakelijk menswetenschappers rond, die na het middelbaar onder wijs doorgaans hooguit enkele vakken wiskunde of statistiek hebben gevolgd. Op zich is dat geen ramp. In principe hoeft niet elke journalist over dezelfde vaardig heden te beschikken. Moet een lifestylecolumnist bijvoorbeeld in een oogopslag de

financiële gezondheid van een bedrijf kunnen inschatten? Moet een sportverslag gever de waarde van een opiniepeiling kunnen duiden? Moet een cultuurjournalist kunnen bepalen waarom het in bepaalde situaties, denk maar even terug aan de verkoopprijs van het rijtjeshuis, handiger is om de mediaan als maatstaf te nemen en het gemiddelde links te laten liggen? Misschien ben je geneigd om op elke vraag volmondig ‘ja’ te antwoorden. Mis schien niet. De realiteit is dat er op deze vragen geen absolute antwoorden bestaan. Er zijn gewaardeerde restaurantcritici die niet zonder hulp kunnen nagaan of een sterrenzaak rendabel is. Er zijn hoog aangeschreven journalisten die geen onder scheid kunnen maken tussen een goed en een slecht uitgevoerde peiling. En er zijn veelgeprezen columnisten die over een gemanipuleerde y-as heen zouden kijken. Betekent dit dat zij hun beroep slecht uitvoeren? Absoluut niet. Zij staan aan de top door hun vakkennis, hun strategisch inzicht, hun mensenkennis, hun analytisch vermogen of hun schrijfstijl. Journalistiek is een veelzijdig ambacht. Je kunt uiteraard uitblinken zonder dat je kwantitatief onderzoek kunt doorgronden of zelf een data-analyse kunt uitvoeren. Maar je geeft jezelf zonder twijfel meer kansen als je zulke vaardigheden wél bezit. Een journalist die moeiteloos onderzoeksrapporten doorploegt, ziet verhalen waar anderen louter datarijen zien. In een samenleving waarin fake news en post-truth algemeen bekende begrippen zijn geworden, en waarin gegoochel met cijfers door politici, denktanks, wetenschappers en pr-bureaus gemeengoed is, is dat een kwali teit waarover de ideale journalist wel degelijk beschikt. Lezers, die zelf vaak hoger opgeleid zijn dan ooit, verwachten en verdienen dui delijkheid. Een journalist moet die kunnen bieden. Laat dit praktisch toepasbare en bijzonder leesbare boek hierbij een waardevolle leidraad zijn.

Remy Amkreutz, chef nieuws en onderzoek bij De Morgen

Inhoud

Inleiding

11

1 Kwantitatief onderzoek door de bril van een journalist 1.1 Kwantitatief onderzoek versus kwalitatief onderzoek

15 16 18 20

1.2 Kwantitatief onderzoek in zeven stappen 1.3 Een voorbeeld van goed kwantitatief onderzoek

2 Acht kritische vragen die je bij elk onderzoek kunt stellen 23 2.1 Wie heeft waarom het onderzoek uitgevoerd en door wie is het betaald? 23 2.2 Over wie gaat het onderzoek écht? 25 2.3 Wie deden er allemaal níét mee? 26 2.4 Geven de antwoorden een eerlijk beeld van de werkelijkheid? 27 2.5 Kan de vraagstelling de meting beïnvloed hebben? 28 2.6 Zijn de juiste statistische analyses uitgevoerd? 29 2.7 Zijn de resultaten vergelijkbaar met die van eerder onderzoek? 30 2.8 Zijn de resultaten eerlijk beschreven en verbeeld? 31 2.9 Hoe je aan antwoorden komt 33 2.10 Tot slot 33

3 Opiniepeilingen, steekproeven en representativiteit

35 35 38 41 42 43 48 51 52 56 57 57 57

3.1 Opiniepeilingen

3.1.1 De opinieleveranciers: wie zijn de grote spelers? 3.1.2 Internationale samenwerkingsprojecten

3.2 Representatieve steekproeven

3.2.1 De vier criteria voor representativiteit 3.2.2 Representativiteit verhogen met gewichten

3.3 Andere steekproefmethoden

3.3.1 Steekproeven zonder steekproefkader

3.4 Tot slot

4 Eerlijke vragen en eerlijke antwoorden

4.1 Twee voorbeeldstudies

4.1.1 Alle politici zijn corrupt (2016)

4.1.2 Ouders hebben geen invloed meer op het stemgedrag van hun kinderen (2018)

59

4.2 Een checklist voor goede surveyvragen

61 61 62 63 64 65 66 67 68 71 72 74 76 81 81 81 82 82 82 83 83 85 86 87 87 88 89 91 91 92 94 94 95 97 98 99

4.2.1 Komt de vraagstelling overeen met die in eerder onderzoek?

4.2.2 Is de vraag maar voor één uitleg vatbaar? 4.2.3 Is de vraag begrijpelijk voor de respondent?

4.2.4 Kan de respondent volledig en genuanceerd antwoorden? 4.2.5 Stimuleert de vraag de respondent om eerlijk te antwoorden?

4.3 Antwoordformats, meetniveaus en analyses

4.3.1 Soorten antwoordformats

4.3.2 Meetniveaus en hun analysemogelijkheden

5 Werken met vrij beschikbare data 5.1 Bronnen van vrij beschikbare data

5.1.1 Data van commerciële organisaties

5.2 Softwarepakketten en visualisatietools

5.3 Aandachtspunten en valkuilen

5.3.1 Wie heeft waarom het onderzoek uitgevoerd en door wie is het betaald?

5.3.2 Over wie gaat het onderzoek écht? 5.3.3 Wie deden er allemaal níét mee?

5.3.4 Geven de antwoorden een eerlijk beeld van de werkelijkheid? 5.3.5 Kan de vraagstelling de meting beïnvloed hebben?

5.3.6 Zijn de juiste statistische analyses uitgevoerd?

5.3.7 Zijn de resultaten vergelijkbaar met die van eerder onderzoek?

5.3.8 Zijn de resultaten eerlijk beschreven en verbeeld?

5.4 Tot slot

6 Momentopnames, veranderingen en causale verbanden

6.1 Momentopnames

6.1.1 Aandachtspunten bij een momentopname

6.2 Veranderingen over tijd

6.2.1 Panelstudies: longitudinaal onderzoek met een extra dimensie

6.2.2 Aandachtspunten bij longitudinaal onderzoek

6.3 Causaliteit

6.3.1 Er is een aantoonbare relatie tussen oorzaak (x) en gevolg (y) 6.3.2 De oorzaak (x) vindt plaats voor het gevolg (y) 6.3.3 Er is geen andere verklaring voor het gevolg (y) dan de onderzochte oorzaak (x)

6.3.4 Experimenteel onderzoek 6.3.5 Toeval bestaat niet … of wel?

6.4 Het belang van replicatie

6.5 Tot slot

100

7 Statistische analyses en gepaste conclusies

101 102 103 108 112 120 122

7.1 De basismaten: alles wat je moet weten over één variabele

7.1.1 Wat andere basismaten kunnen toevoegen aan het verhaal

7.2 Relaties tussen variabelen

7.2.1 Zes statistische toetsen

7.3 Waar kan het misgaan?

7.4 Tot slot

8 Aantrekkelijke en eerlijke rapportages – in woord en beeld

123

8.1 Kwantitatieve gegevens beschrijven 124 8.1.1 Rapporteer getallen waarbij lezers zich iets kunnen voorstellen 124 8.1.2 Maak cijfers niet exacter dan ze zijn 126 8.1.3 Staar je niet blind op het gemiddelde 127 8.1.4 Voeg achtergrondinformatie toe 128 8.1.5 Geef leesbaarheid voorrang boven taalregels 130 8.2 Kwantitatieve gegevens visualiseren 132 8.2.1 Het y-as-dilemma 132 8.2.2 Het verkeerde grafiektype 134 8.2.3 Vorm boven inhoud stellen 136 8.2.4 Hoe moet het dan wel? 137 8.3 Tot slot 138

Nawoord Literatuur

139 141 147 152

Register

Over de auteurs

Kwantitatief onderzoek voor journalisten

10

Inleiding

‘Without data, you’re just another person with an opinion.’ Deze bekende quote van de Amerikaanse statisticus William Edwards Deming wordt geregeld gebruikt om het belang van data voor goede beslissingen te onderstrepen. Deming was de grond legger van de kwaliteitscirkel ( plan-do-check-act ) en een sterk voorvechter van be leid dat gebaseerd is op duidelijke cijfers (Tsutsui, 1996). De uitdaging is alleen dat cijfers op zichzelf nooit betekenisvol zijn. Ze hebben con text nodig, en duiding. Daar ligt een belangrijke maatschappelijke taak voor journa listen. Zij voorzien de samenleving van gegevens en zorgen voor de nodige context en duiding. Niet alleen omdat zij politici en beleidsmakers kritisch kunnen bevragen over de data waarop zij hun beslissingen baseren, maar ook omdat ze hun publiek kunnen helpen bij het beter begrijpen van de wereld. Want daarin zit de grote meerwaarde van kwalitatief hoogwaardige data: ze kwantificeren wat we zien en vertellen ons hoe de vork in de steel zit. Ze bieden ons een zo objectief mogelijk uitgangspunt, vormen de basis van inhoudelijke argumenten en voorzien ons van een gemeenschappelijke taal. Er zijn immers nogal wat beslissingen die we als burgers alleen maar kunnen ne men als we beschikken over betrouwbare cijfers. Wat is de beste manier om aanvul lend pensioen op te bouwen? Als ik mijn ecologische voetafdruk wil verminderen, welke gedragsverandering is dan het meest effectief? En hoe veilig of onveilig is het om in de buurt van een hoogspanningsmast te gaan wonen? Dergelijke vragen kun je niet beantwoorden door te kijken naar een of twee spe cifieke gevallen; daarvoor is ook een totaaloverzicht nodig. Gelukkig leven we in een wereld waarin over nagenoeg alle mogelijke onderwerpen data beschikbaar zijn. Met behulp van slimme apparaten en ICT-toepassingen kunnen we veel te weten komen over bijvoorbeeld surfgedrag, muziekvoorkeuren en de gezondheid van mensen. We zijn echter zo veel data aan het verzamelen, dat de kans bestaat op data overload . Er verschijnen elke dag nieuwe cijfers en rapporten die ons vaak meer verwarren dan verrijken, bijvoorbeeld omdat het nieuwste cijfer het vorige cijfer weer tegenspreekt. De quote van Deming wordt niet voor niets steeds vaker her schreven naar: ‘Without an opinion, you’re just another person with data.’ Hoe meer gegevens er beschikbaar zijn, hoe moeilijker we kunnen bepalen welke daarvan het meest relevant zijn. Dat selectieproces wordt nog eens bemoeilijkt door de golf aan persberichten over kwantitatief onderzoek waardoor redacties dagelijks overspoeld worden. Er wordt ontzettend veel goed onderzoek gedaan door zowel universiteiten en overheden als bedrijven, maar helaas glipt er ook minder hoogstaand onderzoek door de mazen van het net.

11

Kwantitatief onderzoek voor journalisten

Ook neemt door de enorme hoeveelheid data de kans toe dat we er patronen in gaan ontdekken die eigenlijk niet bestaan, en dat we op basis daarvan verkeerde beslissingen nemen. Uit vergelijkingen van tweedehandsauto’s bleek bijvoorbeeld dat oranje voertuigen minder vaak technische problemen hebben dan wagens met een andere kleur. Je kunt er allerlei verklaringen voor bedenken, maar de vraag is of zo’n statistisch verband, dat waarschijnlijk is gevonden met behulp van automatisch gegenereerde analyses van een hele grote dataset, ons echt iets leert over de kwaliteit van auto’s. Juist vanwege de manier waarop de analyse tot stand is gekomen, is de kans groot dat dit patroon berust op toeval. Helaas verschijnen er bijna dagelijks nieuwsberichten met dit soort grote conclusies op basis van ontoereikende data of onjuiste analyses. Van journalisten wordt verwacht dat ze zich een gefundeerde mening kunnen vor men over de inhoud en de kwaliteit van data, en over het belang daarvan voor hun publiek. Aan de ene kant moeten ze het inzicht en de middelen hebben om diegene die de data aanlevert kritisch te bevragen op de kwaliteit ervan. Aan de andere kant moeten ze zelf een weloverwogen selectie kunnen maken uit de data, om een jour nalistiek product te kunnen maken dat niet alleen recht doet aan de werkelijkheid, maar ook begrijpelijk en aantrekkelijk blijft voor de doelgroep. Daarom is kennis van kwantitatief onderzoek zo belangrijk voor journalisten. Zeker in een tijd waarin de geloofwaardigheid van journalisten steeds vaker openlijk ter discussie wordt gesteld, is het van groot belang dat journalisten de juiste tools weten te gebruiken om correct te rapporteren over verzamelde gegevens. Het doel van dit boek Met dit boek willen we (toekomstige) journalisten concrete en praktische hand vatten aanreiken om de kwaliteit en relevantie van kwantitatief onderzoek goed te kunnen inschatten. We hebben aandacht voor de verschillende stappen in het kwan titatieve onderzoeksproces en geven per stap aan wat de valkuilen zijn, waar je als journalist alert op moet zijn en hoe je verantwoord en duidelijk kunt rapporteren over het onderzoek. We schrijven dit boek vooral vanuit de leefwereld van een journalist. Daarbij maken we geen onderscheid tussen studenten journalistiek en professionele jour nalisten. We gaan ervan uit dat studenten die dit boek lezen de ambitie hebben om professionele journalisten te worden en dat journalisten die dit boek lezen de ambitie hebben om nog beter te worden in hun vak. Je hoeft geen professionele on derzoeker te zijn om goed te kunnen schrijven over onderzoek. We willen je vooral op weg helpen om die onderbouwde mening te vormen die je als journalist nodig hebt om niet ‘just another person with data’ te zijn.

12

Inleiding

Voor het vaststellen van onderzoekskwaliteit bestaan helaas geen shortcuts. Je kunt niet afgaan op de aantrekkelijkheid van het onderzoeksrapport, de geliktheid van de visualisaties of ronkende claims over representativiteit die verder niet worden onderbouwd. De meest ervaren journalisten gaan hiermee weleens in de fout, ge tuige de vele na-analyses die tegenwoordig in de vorm van factchecks in de krant verschijnen: ń Factcheck: ‘Is smartphonegebruik nadelig voor examenresultaten?’ ( Eos Maga zine , 2020) ń Factcheck: ‘Cannabis kan je seksleven een boost geven’ ( Knack , 2020) ń ‘Helft Amsterdamse vrouwen slachtoffer van straatintimidatie en geweld – Klopt dit wel?’ ( de Volkskrant , 2020) Zulke factchecks tonen aan dat er nog geregeld betwistbare onderzoeksresultaten in de media verschijnen. Met dit boek willen we jou als journalist in staat stellen om deze factchecks zo goed mogelijk vooraf te doen. Wat je daarvoor nodig hebt, wordt vaak aangeduid als data literacy , of datageletterdheid . Datageletterdheid gaat om het kunnen inschatten van de kwaliteit van gegevens, de verbanden die je er mee kunt leggen en de beperkingen waarmee je rekening moet houden. En om de vaardigheid om abstracte gegevens uit complexe datasets te vertalen naar teksten en visualisaties die iedereen kan begrijpen. Dit is dus uitdrukkelijk geen boek over het doen van onderzoek, al kunnen we ons voorstellen dat de begrippen en richtlijnen die we hier bespreken je daarbij kun nen helpen. Maar als je van plan bent om zelf een kwantitatief onderzoek op te zetten en uit te voeren, of aan datajournalistiek te doen, dan raden we je aan om ook gespecialiseerde methodologische handboeken te raadplegen. Leeswijzer Hoofdstuk 1 vormt met de uitleg van de kwantitatieve onderzoeksketen de basis voor de zeven andere hoofdstukken. We gaan zo veel mogelijk uit van de journalistieke praktijk. Daarom staat in hoofdstuk 2 een hulpmiddel centraal waarmee journalisten ervaring hebben: de kri tische vraag. Concreet beschrijven we acht kritische vragen die je altijd kunt stellen over kwantitatief onderzoek. Die vragen grijpen terug op de stappen in de kwanti tatieve onderzoeksketen die we in het eerste hoofdstuk hebben uitgelegd. Ze zijn ontwikkeld om jou als journalist inzicht te geven in de kwaliteit van het onderzoek en kunnen als checklist dienen wanneer je een artikel of reportage maakt. In de hoofdstukken 3 tot en met 8 worden de belangrijkste thema’s uit de kri tische vragen verder uitgewerkt. In de hoofdstukken 3, 4 en 5 hebben we het over de kwaliteit van opiniepeilingen en steekproeven, over de kenmerken van een goed

13

Kwantitatief onderzoek voor journalisten

meetinstrument, en over het gebruik van vrij beschikbare data. In de hoofdstuk ken 6 en 7 focussen we op data-analyse, met aandacht voor toegepaste statistiek bij kwantitatief onderzoek – maar wel nog altijd vanuit het perspectief van de journa list. Hoofdstuk 8, ten slotte, gaat over het verhaal zelf; de teksten en visualisaties die je produceert om het verhaal over te brengen op je publiek. Voor al deze thema’s werken we zo veel mogelijk met authentieke voorbeelden uit Nederlandse en Vlaamse kwaliteitsmedia, waarin het soms goed ging, maar vaak ook niet helemaal. Het zijn meestal interessante en goed geschreven verhalen, maar hun makers gingen niet altijd te werk volgens de regels van de kunst, en dat maakt ze voor ons dankbaar leermateriaal. We vertrekken dus vaak vanuit het principe ‘van fouten leer je het meest’, maar willen met onze selectie geen enkele individuele journalist of onderzoeker in een kwaad daglicht stellen. Online studiemateriaal Op www.coutinho.nl/kwantitatiefonderzoek vind je het online studiemateriaal bij dit boek. Dit materiaal bestaat uit: ń casussen met vragen en opdrachten ń literatuurtips

14

1 1 Kwantitatief onderzoek door de bril van een journalist Kwantitatief onderzoek is erop gericht ommaatschappelijke fenomenen te meten en uit te drukken in de vorm van getallen. Je kunt hierbij denken aan scores, aantallen en percentages op basis van enquêtes, metingen en observaties.

Hoe vaak er in de media over kwantitatief onderzoek wordt geschreven, kun nen we illustreren met een aantal zoekopdrachten in de Belgische krantendatabank GoPress. Daar verschenen in 2018 maar liefst 30.152 artikelen met het woord ‘pro cent’ in de inleiding. Van de laatste honderd artikelen (allemaal gepubliceerd op 31 december 2018) leren we onder andere dat: ń het nummer ‘Bohemian Rhapsody’ populairder is bij mannen dan bij vrouwen; ń de Duitse toppolitica Annegret Kramp-Karrenbauer meer in de smaak valt dan Angela Merkel; ń de meeste Nederlanders (en dan vooral die tussen achttien en vijftig jaar) van plan zijn om in het nieuwe jaar meer te gaan sporten; ń er een oorzakelijk verband is tussen een groter treinaanbod en een groeiend aan tal treinreizigers in Belgisch Limburg; ń steeds meer Amsterdammers liever geen reclamemeer in de brievenbus ontvangen. Zoek je op het specifiekere woord ‘peiling’ in diezelfde periode, dan krijg je 1.447 resultaten. Een greep uit de krantenkoppen: ń ‘Peiling: minder dan 1 op 4 wil vervroegde verkiezingen’ ( Het Laatste Nieuws , 21 december) ń ‘Vooral winst voor rechts’ ( Het Nieuwsblad , 21 december) ń ‘Nederlanders kiezen voor wintertijd’ ( Het Laatste Nieuws , 19 december) ń ‘Nederlands ministerie erkent fout in onderzoek zomertijd’ (Belga, 19 december) ń ‘9 op 10 joden vindt dat antisemitisme is toegenomen’ ( Gazet van Antwerpen , 11 december) ń ‘Nederlander sombert’ ( De Telegraaf , 11 december) ń ‘Twee vijfde van de Nederlanders wil niet betalen voor klimaat’ (Belga, 9 december) ń ‘Vertrouwen Belgische consument daalt’ ( De Tijd , 21 november) ń ‘Helft Nederlanders voor nieuwe kerncentrales’ (Belga, 10 november) ń vrouwen het nieuwe jaar positiever tegemoetzien dan mannen; ń een kwart van alle jongeren minder op de smartphone wil;

15

1 Kwantitatief onderzoek door de bril van een journalist

Cijfers leveren dus nieuws op. Mediagebruikers lezen er graag over en journalis ten schrijven er graag over. Er is altijd wel een opvallende score, een verschuiving ten opzichte van een jaar geleden of een verschil tussen twee groepen waaraan je een verhaal kunt ophangen. Bovendien zijn alle thema’s mogelijk: politiek, racis me, muziek, voorkeuren voor zomertijd en attitudes ten opzichte van kerncentrales. Zoals je kunt zien in de voorbeelden, wordt er op basis van kwantitatieve data ook vaak een uitspraak gedaan over een grotere populatie: de Belgische consumenten, de Amsterdammers of de treinreizigers. Het zijn allemaal bevolkingsgroepen waar over een journalist op basis van onderzoek algemene uitspraken deed. De vraag is in welke mate die uitspraken gegrond zijn. Had de journalist inzicht in de kwaliteit van het onderzoek voordat hij zijn artikel publiceerde? Vanaf hoofdstuk 3 zullen we bespreken dat dat helaas niet altijd het geval is. In paragraaf 1.1 gaan we in op het onderscheid tussen kwalitatief en kwantitatief onderzoek. Vervolgens presenteren we in paragraaf 1.2 de zogenoemde onderzoeks keten, die bestaat uit zeven stappen. Deze keten vormt de basis voor de overige hoofdstukken. We sluiten het hoofdstuk af met een voorbeeld van bijzonder ge slaagd kwantitatief onderzoek door het Nederlandse Centraal Bureau voor de Sta tistiek (CBS). Om de mogelijkheden en beperkingen van kwantitatief onderzoek duidelijk te ma ken, willen we eerst even stilstaan bij zijn belangrijkste methodologische tegenhan ger: kwalitatief onderzoek. In kwalitatief onderzoek ligt de focus op een diepere beschrijving van fenomenen, met veel aandacht voor het individu dat onderzocht wordt. Het gaat om een open meting, met meer flexibiliteit en wisselwerking tussen de onderzoeker en de participant. Typische dataverzamelingsmethoden in kwali tatief onderzoek zijn interviews, focusgroepen en observaties; bij uitstek onder zoeksmethoden waar ook journalisten goed in opgeleid worden. Dat is geen toeval, omdat juist deze methoden hen in staat stellen om de werkelijkheid achter de cijfers inzichtelijk te maken en in te kleuren met concrete verhalen van echte mensen. Deze methoden zou je bijvoorbeeld kunnen gebruiken in een onderzoek naar de leefbaarheid in een probleemwijk in Rotterdam. Met behulp van observaties kun je ongewenst gedrag in kaart brengen, tijdens interviews kun je buurtbewoners la ten vertellen over de sfeer in de wijk en in een focusgroep zou je met wijkagenten, bewoners en winkeliers in gesprek kunnen gaan over oplossingen voor alledaagse problemen in de buurt.

1.1 Kwantitatief onderzoek versus kwalitatief onderzoek

16

1.1 Kwantitatief onderzoek versus kwalitatief onderzoek

Ondanks onze focus op kwantitatief onderzoek willen we de meerwaarde van kwa litatieve methoden niet ontkennen. Dat kwantitatief en kwalitatief onderzoek elkaar heel goed kunnen aanvullen, werd door de broers Chip en Dan Heath als volgt ver woord: ‘Data are just summaries of thousands of stories – tell a few of those stories to help make the data meaningful’ (Heath & Heath, 2014). Het is een kerntaak van een journalist om de abstracte cijfers en feiten te vertalen naar menselijke ervarin gen en gevolgen voor hun publiek. Daarbij is het wel belangrijk dat je als journa list niet enkel focust op specifieke, afwijkende gevallen. Dat kan immers tot gevolg hebben dat mensen verkeerde inschattingen maken van de frequentie van bepaalde gebeurtenissen én van de kans dat ze er zelf mee te maken krijgen (Gardner, 2009). Dat komt door de availability bias : als we makkelijk een concreet voorbeeld kunnen bedenken van een extreme gebeurtenis (denk bijvoorbeeld aan een terroristische aanslag), schatten we de kans op zo’n gebeurtenis hoger in. Het omgekeerde geldt trouwens ook: als we alleen maar cijfers en geen voorbeelden tot onze beschikking hebben, dan betrekken we die cijfers minder snel op onszelf, met als gevolg dat we minder geneigd zijn om eventueel benodigde acties te ondernemen. Dat wordt ook wel optimism bias genoemd. Om een beeld te schetsen dat enerzijds realistisch en anderzijds informatief is, is het wenselijk om kwantitatieve en kwalitatieve methoden te combineren. In de praktijk gebeurt dat vaak ook. Dan leveren kwantitatieve gegevens bewijs voor een bepaalde verandering of ontwikkeling, en wordt kwalitatief onderzoek ingezet om inzicht te krijgen in verklaringen, kanttekeningen en oplossingsrichtingen. VOORBEELD 1.1 Een duidelijk voorbeeld van een thema dat zich leent voor een combinatie van kwan titatief en kwalitatief onderzoek is het debat rond de kwaliteit van het onderwijs. Als je als journalist een stuk wilt schrijven over de staat van het onderwijs, kun je gebruik maken van verschillende kwantitatieve onderzoeksinstrumenten. Denk bijvoorbeeld aan de wereldwijde PISA-scores (PISA staat voor Programme for International Student Assessment) van de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO). Dat zijn landscores die de kwaliteit van het onderwijs meten met gestandaar diseerde toetsen voor onder andere wiskundige geletterdheid, leesvaardigheid en wetenschappelijke geletterdheid. Je zou met andere kwantitatieve data ook kunnen nagaan hoeveel studenten in vier jaar een opleiding in het hoger onderwijs succesvol afronden, of je zou kunnen tellen hoelang het duurt voor studenten met een diploma een goede baan vinden. PISA-cijfers, slaagcijfers en cijfers over de eerste baan na het afstuderen zijn allemaal kwantitatieve indicatoren die je iets kunnen vertellen over on derwijskwaliteit. Maar als je bepaalde verschuivingen of trends in die data wilt begrij pen of verklaren, ontkom je niet aan kwalitatief onderzoek, bijvoorbeeld in de vorm van diepte-interviews of focusgroepenmet onderwijsexperts, docenten en leerlingen.

17

1 Kwantitatief onderzoek door de bril van een journalist

1.2 Kwantitatief onderzoek in zeven stappen

Als je ‘onderzoekscyclus’ of ‘empirische cyclus’ googelt, krijg je verschillende mo dellen voorgeschoteld van een cyclisch onderzoeksproces dat vertrekt vanuit een centrale onderzoeksvraag en eindigt met een rapportage in de vorm van een we tenschappelijke publicatie of presentatie op een conferentie. Dat is de realiteit van de onderzoeker. Hier gaan we echter uit van de realiteit van een journalist. Daarom tekenen we een ander schema: het schema van kwantitatief onderzoek door de bril van een journalist, met als belangrijkste doel om een relevant verhaal te vertellen aan een breed publiek (figuur 1.1). Dit schema is belangrijk, want het vormt de basis voor de hoofdstukken hierna én het is de kapstok waaraan je alle kwaliteitscriteria voor kwantitatief onderzoek kunt ophangen.

1. Populatie : hier wil het onderzoek iets over zeggen Bijvoorbeeld: de Nederlandse 14- tot 18-jarigen

2. Steekproef : deze selectie uit de populatie wordt onderzocht Bijvoorbeeld: een (willekeurige) selectie van onderzochte 14- tot 18-jarige jongeren

3. Instrument : dit bepaalt wat in het onderzoek wordt gemeten Bijvoorbeeld: de enquête die door de selectie van jongeren wordt ingevuld

7. Je verhaal : Dit is het verhaal dat je aan de hand van de rapportage/visualisatie vertelt over de populatie

4. Dataverzameling : zo worden de metingen afgenomen Bijvoorbeeld: de uitnodiging en de online omgeving waarin de jongeren de enquête hebben ingevuld

5. Analyse : zo worden de data verwerkt Bijvoorbeeld: aan de hand van gemiddelden, vergelijkingen en percentages in Microsoft Excel

6. Rapportage/visualisatie : zo worden de conclusies gepresenteerd Bijvoorbeeld: een infographic met een selectie aan interessante guren

Figuur 1.1 De kwantitatieve onderzoeksketen

Boven aan figuur 1.1 zie je dat kwantitatief onderzoek altijd vertrekt vanuit een bepaalde populatie , ‘de Nederlander’, ‘de Vlaamse ondernemers’ of ‘het verplegend personeel in onze ziekenhuizen’. Het hoeft niet per se een grote populatie zijn, het kan ook een kleinere groep betreffen. Het gaat erom dat je als journalist verhalen

18

1.2 Kwantitatief onderzoek in zeven stappen

wilt vertellen over een fenomeen dat zich voordoet onder een bepaalde groep in de maatschappij. Hoe groot of indrukwekkend een dataset ook is, je kunt dat fenomeen (bijna) nooit onderzoeken bij de hele groep, maar meestal alleen bij een selectie van de populatie: de steekproef . Die steekproef moet een goede afspiegeling zijn van de populatie. Dat is cruciaal voor de kwaliteit van het onderzoek en voor het verhaal dat je gaat vertellen. Bij die steekproef wordt zo’n fenomeen op een kwantitatieve manier gemeten. Dat kan op veel verschillende manieren, variërend van de kennis van politiek op een schaal van 0-10 tot het gemiddelde uurloon dat een jongere krijgt bij een studenten baan. Nagenoeg alle maatschappelijke fenomenen zijn kwantitatief te meten. Wat daarvoor nodig is, is een instrument . Maar hoe wordt zo’n instrument samenge steld? Aan de ene kant heb je een goede definitie nodig van je te meten begrip: Wat is kennis van politiek? Wat is racisme? Wat is smartphoneverslaving? Vervolgens moet je een duidelijk beeld hebben van hoe dat in getallen kan worden weerge geven. Daarom is ook het instrument een belangrijke schakel in de keten, en dus essentieel voor de kwaliteit van het onderzoek. De dataverzameling is de volgende stap in het proces. Ook hier wil je als journa list informatie over, want het kan een behoorlijk verschil maken waar, wanneer en hoe de gegevens zijn verzameld. Is kennis van politiek bijvoorbeeld net voor of pas een jaar na de verkiezingen gemeten? Heeft iedereen alle vragen hierover volledig ingevuld, en wat gebeurde er als iemand daar geen zin in had? Zijn er herinneringen gestuurd naar respondenten die niet wilden deelnemen? Wanneer de eerste vier schakels van de onderzoeksketen doorlopen zijn, is het tijd voor de analyse : het interpreteren van de data. Daarbij speelt statistiek een be langrijke rol. Worden de juiste analyses gedaan om inzicht te krijgen in effecten, verbanden, verschillen of trends? Hoe zeker kunnen we zijn over de uitkomsten? Dat zijn zaken die in stap vijf duidelijk worden. Na de analyse worden de bevindingen vertaald in een format dat een duidelijk en vlot leesbaar beeld schetst van de uitkomsten van het onderzoek. Dat gebeurt meestal aan de hand van een tabel, een figuur of een (interactieve) grafiek. Deze stap van analyse naar rapportage is meteen ook een belangrijk selectiemoment. Hier wordt niet alleen bepaald welke resultaten worden getoond, maar ook hoe ze worden gevisualiseerd – en dus ook hoe ze uiteindelijk worden gepercipieerd door de lezer. Aan de hand van die keuzes en visualisaties vertel jij als journalist ten slotte het verhaal . Een verhaal dat niet langer gaat over de steekproef of de specifieke gemid delden of percentages, maar over het grotere plaatje. Je wilt een antwoord formule ren op de vraag in welke mate Nederlandse jongeren op de hoogte zijn van politiek. Je wilt een nieuwe trend of ontwikkeling bespreken die verder gaat dan de cijfers in

19

1 Kwantitatief onderzoek door de bril van een journalist

de figuur, inclusief input van experts. Maar om dat verhaal correct te vertellen, is helder inzicht noodzakelijk in alle stappen die eraan voorafgingen. Alleen als je vol doende inzicht hebt in het hele proces kun je een inschatting maken van de waarde van de kwantitatieve data waarop je je verhaal baseert. Begrip van de sterktes en zwaktes van elke schakel is hierbij van belang, maar niet elke schakel in een onderzoek hoeft perfect te zijn. Kwantitatief onderzoek is namelijk messy . Je kunt het nooit helemaal goed doen, zelfs niet met alle tijd en middelen van een professioneel onderzoeksbureau. In de praktijk moet je bij kwantitatief onderzoek altijd weloverwogen keuzes maken betreffende de verschillende schakels van de keten. Elke keuze heeft gevol gen. Als het mooi weer was op de dag waarop een onderzoek naar vertrouwen in de maatschappij werd uitgevoerd, heeft dat hoogstwaarschijnlijk de resultaten beïn vloed. Als een enquête over drugsgebruik onder jongeren online en anoniem werd afgenomen, is de kans op sociaal wenselijke antwoorden kleiner dan wanneer die jongeren dezelfde vragenlijst op papier moesten invullen met een onderzoeker in een klaslokaal. Maar als je online een enquête uitstuurt naar jongeren, weet je op voorhand dat de respons vele malen lager zal liggen dan wanneer je ze de vragenlijst op papier laat invullen in een schoolsetting. Dan krijg je wel eerlijkere antwoorden, maar kan de uitkomst door het gebrek aan representativiteit alsnog een vertekend beeld geven van je populatie. Voordat je denkt dat het met zo veel mitsen en maren nooit zal lukken om een be trouwbaar nieuwsbericht te publiceren op basis van kwantitatief onderzoek, geven we je graag een voorbeeld dat de perfectie heel dicht benadert. Het is een onderzoek van het Nederlandse Centraal Bureau voor de Statistiek (CBS) waarin alle schakels van de keten transparant waren voordat er iets over in de media verscheen. Het CBS doet met de jaarlijkse enquête ‘Belevingen’ onderzoek naar actuele onderwerpen die spelen in de samenleving. Het CBS staat voor goed en betrouwbaar kwantitatief onderzoek in Nederland. In hun rapportages is dan ook altijd duidelijk welke maat regelen ze hebben genomen om de kwaliteit in de verschillende stappen van het kwantitatieve onderzoeksproces te garanderen. In ‘Belevingen 2017’ werden bijvoorbeeld vragen gesteld over een politiek ge voelig, maar actueel thema: opvattingen over vluchtelingen in Nederland. Uit het onderzoek bleek dat ‘de meerderheid van de volwassen bevolking in Nederland van mening is dat Nederland vluchtelingen moet opvangen die door oorlog of ver volging hun land zijn ontvlucht’. Die resultaten werden breed gepubliceerd en ver der geanalyseerd in de Nederlandse kranten, tijdschriften en nieuwsuitzendingen.

1.3 Een voorbeeld van goed kwantitatief onderzoek

20

1.3 Een voorbeeld van goed kwantitatief onderzoek

Waarom dit volgens ons een heel betrouwbare conclusie was, lichten we hier toe op basis van het volledige rapport met de methodologische en statistische informatie die bij het persbericht van CBS verscheen (Kloosterman, 2018). Ten eerste was er volledige transparantie over de populatie en was er sprake van een representatieve steekproef . De populatie bestond uit alle personen van achttien jaar of ouder in particuliere huishoudens in Nederland. Op basis van gegevens van de Gemeentelijke Basisadministratie (GBA) werd een grote toevalssteekproef getrok ken van maar liefst 3.339 respondenten, van wie 55,8% de enquête daadwerkelijk invulde. Het CBS heeft vervolgens een non-responsanalyse gedaan (analyse van de uitgenodigde participanten die niet deelnemen aan het onderzoek), om te onder zoeken of de profielen van de volwassenen die niet hadden geantwoord afweken van die van degenen die wel reageerden. Vervolgens gingen de onderzoekers na of de samenstelling van de steekproef afweek van de hele populatie, en hebben ze waar nodig een correctie toegepast. Dat betekent dat ze de resultaten hebben herwogen op basis van de kenmerken leeftijd, geslacht, burgerlijke staat, herkomst, omvang van het huishouden, provincie en mate van stedelijkheid. Kortom, alles werd in het werk gesteld om tot een steekproef te komen die representatief was voor de Neder landse volwassen bevolking. Ten tweede stelde het CBS vragen over dit thema die ze niet zelf hadden bedacht, maar die uitvoerig getest en gevalideerd waren in ander onderzoek. In dit geval ging het om vragen over perceived ethnic threat uit het ‘European Social Survey (ESS)’ (European Social Survey, 2020; Billiet et al., 2014). De data verzamelden ze volgens de regels van de kunst, dus door de respon denten professioneel te benaderen op verschillende manieren. Alle geselecteerde volwassenen ontvingen een persoonlijke brief, waarin hun werd gevraagd om de vragenlijst online in te vullen. Deden ze dat niet, dan volgden er nog twee schrif telijke herinneringsrondes. Als dat nog niet werkte, werden respondenten die niet hadden geantwoord opgebeld, of werden ze door een interviewer thuis opgezocht. Een intensieve en dure procedure, die nodig was om een eerlijk beeld te krijgen van de opvattingen van de Nederlandse bevolking. Het zou zonde zijn om dermate zorgvuldig verzamelde data vervolgens niet cor rect te analyseren. Ook op dat gebied maakte het CBS zijn naam waar. Ze waren volledig transparant over alle berekeningen die ze op de verzamelde data loslieten en gebruikten geschikte statistische analyses om patronen in de dataset te onder zoeken. Toen ze bijvoorbeeld concludeerden dat ‘mannen minder positief staan tegenover vluchtelingen dan vrouwen’, deden ze dat niet enkel op basis van een la gere gemiddelde score bij mannen, maar onderzochten ze ook of het verschil tussen mannen en vrouwen statistisch significant was.

21

1 Kwantitatief onderzoek door de bril van een journalist

Ten slotte zorgde het CBS voor een volledige en eerlijke rapportage van de gege vens. De grafieken hadden een vast format en alle informatie over de vraagstelling en de verschillende antwoordcategorieën werd integraal toegevoegd. Uitspraken in de begeleidende tekst werden ondersteund door wat er in de data zichtbaar was (zie figuur 1.2).

Nederland moet vluchtelingen opvangen die door oorlog of vervolging hun land zijn ontvlucht Vluchtelingen vormen een bedreiging voor de veiligheid in Nederland Vluchtelingen zorgen voor een verrijking van de Nederlandse cultuur Vluchtelingen vormen een bedreiging voor de Nederlandse normen en waarden Vluchtelingen moeten in Nederland hun eigen cultuur kunnen behouden

0

10

20

30

40

50

60

70

80

90 100 %

Niet mee eens, niet mee oneens

Mee oneens

Mee eens

Figuur 1.2 Datavisualisatie in de rapportage van ‘Belevingen 2017’ van het CBS (CBS, 2017)

Met een goed begrip van de kwantitatieve onderzoeksketen en een goed voorbeeld van het CBS heb je nu hopelijk al een beter beeld van de context waarin je als jour nalist een verhaal kunt schrijven. Je bent zelf ook een onmisbare schakel in die ke ten, omdat je de verbinding legt tussen de data en het publiek. Om die taak goed te kunnen uitvoeren, is een compleet beeld van het uitgevoerde onderzoek en de werkwijze van de onderzoeker noodzakelijk. Om je daarmee te helpen, gaan we in het volgende hoofdstuk verder met acht kritische vragen die je over elk uitgevoerd onderzoek kunt stellen.

22