Ontmasker de peiler

Laaiend waren ze in België vorige maand. De Vlaamse media bleken een jaar lang voor de gek gehouden te zijn door een niet bestaand marktonderzoeksbureau, Data Driven, dat persberichten produceerde met daarin resultaten van niet uitgevoerd onderzoek. Zo zouden liberalen de meeste seks hebben en stonden Vlamingen dit jaar volgens het bureau korter in het stemhokje dan bij eerdere verkiezingen. In Nederland publiceerden onder andere de Volkskrant en Sp!ts de verzinsels op hun website. Volgens de nationaal secretaris van de Vlaamse Vereniging van Journalisten, Pol Deltour, speelde de ‘opdrachtgever’ van Data Driven, tv-producent Woestijnvis, ‘een spelletje met de geloofwaardigheid van de volledige Vlaamse media’. Maar gelukkig gingen er ook andere stemmen op. ‘Is het niet eens tijd voor de media om eens diep in de spiegel te kijken en na te denken over de wijze waarop het journalistieke beroep wordt uitgeoefend?’, stelde hoogleraar mediarecht Leo Neels van de K.U. Leuven.

Woestijnvis-gate markeert een ontwikkeling die ook in Nederland al langere tijd gaande is: steeds meer bedrijven bestoken de pers met ‘leuke onderzoekjes’ om publiciteit te genereren. En tegelijk laten ook serieuze media zich steeds meer bedienen door marktonderzoekers. Niet alleen op internet, maar ook in de geschreven pers neemt het aantal op ‘cijfers’ gebaseerde nieuwsberichten sinds 2004 sterk toe, becijferde de Vlaamse promovenda ­Nathalie Sonck. Waarschijnlijk is de Nederlandse situatie vergelijkbaar met die in haar land. Het succes van de PR-bureaus en marktonderzoekers is grotendeels te danken aan de onkritische houding en jacht op snel nieuws van de journalistiek. Maar ook journalisten die hun vak wel serieus nemen hebben vaak moeite om goed en slecht onderzoek te onderscheiden.

‘We hebben een grondig gebrek aan survey-hygiëne’, zegt onderzoeksjournalist en voorzitter van de Vereniging van Onderzoeksjournalisten (VVOJ), Margo Smit. Zij was een van de sprekers op een symposium over surveys in het nieuws dat het Centraal Bureau voor de Statistiek (CBS) samen met het Nederlands­talig Platform voor Survey-Ondezoek (NPSO) op 3 juni organiseerde. ‘We nemen cijfers domweg over en laten de nuances en beperkingen weg. Zo werkt de journalistieke praktijk: we houden van cijfers, maar willen er vooral nummers mee maken.’ Smit schaamt zich regelmatig voor haar collega’s. ‘Het eerste waar een journalist naar zou moeten kijken is de opdrachtgever van een onderzoek. Heeft die een belang bij bepaalde uitkomsten? Dan moet je de resultaten al met een grote korrel zout nemen.’ Smit is docent aan de Rijksuniversiteit Groningen. Haar studenten noemen steevast als criterium voor goed onderzoek ‘hoeveel deelnemers er meedoen’. ‘Terwijl het aantal deelnemers niets zegt over de representativiteit van het onderzoek’, aldus Smit.

CBS-methodoloog Jelke Bethlehem sluit zich daarbij aan. Hij presenteerde op het symposium een checklist voor goed survey-onderzoek. ‘De meeste opiniepeilingen van tegenwoordig, ook die van Synovate, Maurice de Hond en TNS Nipo, werken via internet en maken gebruik van mensen die zich vrijwillig hebben aangemeld. Dat levert per definitie geen afspiegeling van de samenleving op, hoe groot je de steekproef ook neemt. De onderzoeksbureaus geven aan deze vertekening te corrigeren, maar hoe ze dat doen vertellen ze er niet bij. En er is ook geen enkele garantie dat dit de problemen oplost.’

Waar de grote marktonderzoekers nog moeite doen om representativiteit te bewerkstelligen, nemen anderen die moeite niet eens.

Bethlehem: ‘Een bekend voorbeeld daarvan is de ANWB-enquête over het rekeningrijden. Iedereen kon daaraan meedoen, leden en niet-leden, en zelfs meerdere keren meedoen was mogelijk.’

Bethlehem noemt verder het gebrekkig rapporteren van onzekerheidsmarges. Vaak worden verschillen of veranderingen gepresen­teerd die binnen die marges vallen en dus puur toeval kunnen zijn. De uitslag van verkiezingsdebatten bijvoorbeeld, waarbij de deelnemers zo dicht bij elkaar zaten dat ze in feite gelijk eindigden. Toch werd er een ranglijst opgesteld, terwijl een wetenschapper de verschillen aan het toeval zou toewijzen. En in de actualiteitenprogramma’s proberen politici uit te leggen waarom er één zetel bij is gekomen of af is gegaan, terwijl dit louter de ruis van de steekproef is.

Bethlehem pleit er voor om bij elk persbericht over een marktonderzoek een verantwoording verplicht te stellen. Daarin moet het uitvoerende bureau uitleggen wat het gedaan heeft. Journalisten zouden onderzoeken zonder zo’n verantwoording direct ter zijde moeten leggen. Dat klinkt utopisch, maar serieuze media zullen volgens hem wel moeten.

Het ANP gaat sinds een jaar uiterst kritisch om met ‘leuke persberichten’. Adjunct-hoofdredacteur Patrick Selbach: ‘Wij werden overstelpt met kleine flut onderzoekjes van het kaliber “wij van WC-eend adviseren WC-eend”. De meeste daarvan serveren we al af vanwege de commerciële insteek, op basis van de opdrachtgever.’ Het ANP vermeldt nu standaard hoe het onderzoek uitgevoerd is, onder hoeveel mensen en via wat voor soort panel. Op verzoek van het ANP meldt actualiteitenprogramma 1 Vandaag over het eigen opiniepanel dat het gebruik maakt van een vrijwillig internetpanel. Selbach: ‘Helaas laten andere media dit soort aanvullingen vaak weg, en staat er toch “De Nederlander wil”.’

Journalisten zijn vaak pragmatisch. Maar zelfs als ze zich aan al de genoemde voorwaarden houden, kunnen ze nog keihard de boot in gaan. Schijn kan bedriegen. Minstens zo cruciaal is namelijk de vragenlijst die wordt gebruikt in het onderzoek. Harry van den Berg is als sociaal wetenschapper aan de UvA gespecialiseerd in het ontwerpen van vragenlijsten. ‘De manier waarop een vraag wordt geformuleerd maakt een wereld van verschil. Vragen kunnen suggestief zijn, tweeledig zijn of op meerdere manieren interpreteerbaar. En de volgorde van vragen speelt ook een belangrijke rol.’

Van den Berg ziet met grote regelmaat “push-enquêtes” voorbijkomen, die zo opgesteld zijn dat de uitslag in feite vooraf al bekend is. ‘De peiling van De Telegraaf over het rekeningrijden bijvoorbeeld.’

Hoe weet je of een vragenlijst deugt? Van den Berg: ‘Een goede onderzoeker test zijn vragenlijsten altijd uit op een klein groepje respondenten, die hij vervolgens interviewt over het proces en hun redeneringen. Dat gebeurt maar zelden. Maar een journalist met een redelijk denkvermogen kan bij inzage al snel zien of de vragenlijst de conclusies rechtvaardigt.’ Het probleem met vragenlijsten is dat ze vrijwel nooit worden meegeleverd met het persbericht. Dat ondervindt beroepcriticus en wetenschapsjournalist Hans van Maanen vaak aan den lijve. ‘De GPD onderzocht hoe racistisch Nederland is. Ik wilde de ruwe data en de vragenlijst inzien, maar die weigerden ze te geven.’

Een ander houvast voor journalisten is een keurmerk voor onderzoeksbureaus. Nadeel is volgens Van Maanen dat deze Research Keurmerkgroep een initiatief is van de branche zelf. Alle grote marktonderzoeksbureaus beschikken over het keurmerk, alleen Maurice de Hond niet. Volgens van Maanen ondergraven de mediagenieke marktonderzoeken de geloofwaardigheid van sociaal-wetenschappelijk onderzoek dat wel aan wetenschappelijke normen voldoet. ‘Je moet van goede huize komen om het verschil te zien tussen de onderzoeken van het CBS en Motivaction.’

Bij het ANP krijgt de eigen redactie regelmatig een opfriscursus ‘survey-hygiëne’ van sprekers uit de sociale wetenschappen. Smit van de VVOJ pleit voor dergelijke nascholingen voor zoveel mogelijk journalisten. Het CBS werkt daar graag aan mee. Smit: ‘Net als hoor en wederhoor zouden deze stappen in het geheugen van iedere journalist gegrift moeten staan.’ Van Maanen: ‘Je standaardhouding zou moeten zijn “niet geloven”. 90 procent is tegenwoordig onzin.’