Jeroen Vliegenberg

Hans Verstraaten, hoofdredacteur van Nieuwe Revu, vindt evalueren nuttig, zolang maar niet te veel mensen zich ermee bezighouden. 'We evalueren op een aantal niveaus. Ik neem elke week het nummer door met Frans Lomans, de adjunct-hoofdredacteur. Daarnaast gebeurt het ook op een informele manier en tijdens stafvergaderingen. Dan nemen we een aantal onderwerpen, zoals sport of de covers. Met de art-director evalueren we om de vier weken de laatste vier nummers en ongeveer tien keer per jaar praten we met de drukkerij over druktechniek en drukkwaliteit. Ik ben geen voorstander van evaluaties met grote gezelschappen. Dan heb je altijd mensen die uit een soort beleefdheid dingen roepen of er is er eentje met een grote mond die alles en iedereen overheerst. Bovendien duurt dat soort evaluaties vaak erg lang en daar is gewoon geen tijd voor. Daar komt nog bij dat het effect nauwelijks te meten is. Bij kleinere, interne besprekingen heb je juist wel direct effect.'
'Het klassieke probleem van kritiek is natuurlijk dat de journalist zich aangevallen voelt. Dat is ook wel logisch; een beetje journalist werkt met hart en ziel aan zijn verhalen. Al moet ik zeggen dat ik zelf niet zo'n last heb van kritiek.'

Bert Vuijsje, hoofdredacteur van HP/De Tijd, herinnert zich uit zijn tijd bij de Volkskrant dat kritiek soms persoonlijk werd opgevat. 'Als ik me een paar keer negatief had uitgelaten over een aantal artikelen van een bepaalde redacteur en een volgende keer wel lovend was over een ander stuk, werd dat niet geloofd. Ik merkte ook dat sommige redacteuren met een verborgen agenda werkten. Wraakoefeningen.'
'Bij HP/De Tijd gaan de evaluaties doorgaans beter. Wekelijks worden de verschenen nummer tijdens de redactievergadering door wisselende redacteuren geëvalueerd. Maandelijks wordt iemand van buitenaf uitgenodigd om een kritische blik op ons blad te werpen. Het gaat niet altijd gemakkelijk. Maar het moet mogelijk zijn opmerkingen te maken over een onderdeel van het blad, een artikel, een beeld, een onderschrift of de vormgeving. Kritiek zonder aanzien des persoons.'
'Het klimaat op een redactie moet zo zijn dat de kritiek niet persoonlijk wordt opgevat', meent Henk van Hoorn, hoofd nieuwsprogramma's van Radio 1. 'Het gaat er om wat voor lessen je daaruit kunt trekken. Je mag elkaar heus wel complimentjes geven, maar ik heb er een hekel aan als mensen elkaar constant op de schouders rammen. En dat gebeurde in het verleden bij sommige programma's, dat kan ik je verzekeren.'

'Mensen van buitenaf? Nee, we evalueren ons blad zelf', zegt Gerard van Westerloo, hoofdredacteur van De Groene Amsterdammer 'Elke week wordt het nummer tijdens de redactievergadering geëvalueerd. Steeds door een andere redacteur. Dan worden er suggesties gedaan: 'kunnen we voortaan niet beter...', 'ligt het niet voor de hand als we...' of 'die foto was niet goed'. Iedereen die iets wil zeggen, kan dat doen. Vaak zijn het kleine technische verbeteringen zoals bijschriften of opmaak. Ik zit hier nog niet zo lang, misschien dat er onder Martin van Amerongen wel extern werd geëvalueerd. Ik sta er wel open voor. Misschien iets voor de toekomst.'
Nico Haasbroek, hoofdredacteur van het NOS-journaal, noemt de evaluatie van het journaal 'grondig'. 'Het gebeurt heel veel. Dagelijks na de uitzending wordt door de eindredacteur een rapport gemaakt. Iedereen kan zich hiervan op de hoogte stellen via ons computersysteem. Bij de grote bulletins zoals het acht uur-journaal is er altijd een nabespreking met alle redacteuren. We nodigen ook vaak mensen van buitenaf uit. Ze zijn afkomstig uit verschillende disciplines. Een tijd terug hadden we Frits Bolkestein, daarvoor onderzoeksbureau Trendbox en onlangs vroegen we Youp van 't Hek. Zij mogen dan zeggen wat ze van het acht uur-journaal vonden.'
'Het lijkt wel een trend om mensen van buitenaf uit te nodigen', zegt Bert Vuijsje. 'Wij nodigden Jan Tromp uit, de Volkskrant nodigde mij uit. De Nieuwe Revu heeft mij ook gevraagd. Nou, misschien moet ik Hans Verstraaten ook maar eens naar ons laten komen. Iedereen nodigt elkaar uit. Bijna een rondreizend circus.'
'Eén keer per maand hebben we, zoals we dat noemen, de zogenaamde hangende receptie', zegt Yvonne Zonderop, adjunct-hoofdredacteur van de Volkskrant. Een buitenstaander mag dan zijn mening over onze krant geven. Sommigen nemen de krant van een week door, anderen houden een persoonlijk betoog. Een tijd terug hadden we Hans Maarten van den Brink (VPRO) en Bert Vuijsje. Het kunnen ook mensen zijn die niet in het vak zitten. Maar dan hoor je meestal een persoonlijk verhaal. Kan heel nuttig zijn, maar het blijft de ervaring van één persoon.
Joop van den Ende hebben we een keer gehad. Hij gaf zijn idee over onze stijl, ons karakter, wat er wel en niet kan verbeteren. Soms nemen we ook politici, zoals Bolkestein. Niet uit het vak, maar wel iemand die de media op de voet volgt. De ervaring leert dat vakmatige kritiek vaak handiger is, wil je er wat aan hebben. Je hebt dan meer inhoudelijke discussie over de aanpak.' 
Buitenstaanders doen het kennelijk goed. Henk van Hoorn: 'Op een hoger niveau - de bazen en hoofd programmamakers van de NOS - wordt ook geëvalueerd. Kijken of bepaalde programma's nog wel goed zijn. Altijd een probleem, want je kunt niet van iedereen verwachten dat ze alles zien of horen. Centraal goed evalueren is heel moeilijk, terwijl je weet dat het wel erg belangrijk is. De NOS heeft daarvoor een oplossing bedacht. Een buitenstaander, die geacht wordt een kritische blik op programma's te hebben, wordt uitgenodigd. Mensen als Jan Tromp, Frits Spits of Andrée van Es.'

Hans Verstraaten maakt wel een onderscheid tussen buitenstaanders. 'Ik heb ook bij een krant gewerkt en daar leerde ik dat je nooit buitenstaanders die niets van het vak weten, moet uitnodigen. Die vergeten bijvoorbeeld dat een krant elke dag moet verschijnen en dat er dus niet zo gek veel tijd is om lang over bepaalde beslissingen na te denken. Tijdens plenaire vergaderingen van Nieuwe Revu nodigen we vaak gastsprekers uit. Van te voren zeggen we dan dat ze alles mogen roepen, graag zelfs. Want ze kennen onze mensen meestal toch niet en het is de Nieuwe Revu; die kan wel tegen een stootje. We proberen mensen uit verschillende beroepsgroepen uit te nodigen. Zoals de oud-directeur van het Foto-instituut, iemand uit de reclamewereld of een advocaat. Heel nuttig, zeker als de gasten weten waar ze over spreken. Onlangs was Mr. Boukema te gast en die had een heel boeiend verhaal over hoe een journalist met zijn bronnen om moet gaan. Als een bron vertelt dat iemand corrupt is en jij schrijft dat als journalist op, dan ben je verantwoordelijk voor zo'n uitspraak. Allemaal handige tips, veel journalisten weten nog steeds niet precies hoe de rechtsstaat in elkaar zit.'  
'Evaluatie is een manier om over de krant te praten, om het debat gaande te houden.' Yvonne Zonderop legt uit dat het een taak van de hoofdredactie is. 'Er wordt op alle mogelijke manieren en op allerlei momenten over de krant gesproken. Maar je kunt onmogelijk constant op de hoogte zijn. Een redactie van honderd, tweehonderd man is daarvoor te groot. Daarom houden we bijeenkomsten voor iedereen die dat wil.
Elke dag is er 'nieuwsberaad'. Dan wordt de net verschenen krant in vijf minuten besproken door twintig tot veertig man en een lid van de hoofdredactie schrijft een verslag. Er verschijnt ook regelmatig een nieuwsbrief, die intern wordt verspreid naar redactie, hoofdredactie en redactieraad.'

Onderzoeken onder lezers, luisteraars en kijkers zijn ook vormen van kwaliteitsbewaking. Mits er natuurlijk wel iets mee gebeurt. Het kijk- en luisteronderzoek is volgens Haasbroek van groot belang voor het NOS-journaal. 'Dat wordt zeer regelmatig geëvalueerd. We kijken ook naar luisteraarswaardering. Een aantal mensen heeft een kastje thuis staan dat is verbonden met ons systeem. Zo kunnen we steeds op de hoogte blijven van de waardering. Het cijfer ligt rond de zeven. Het is een vorm van kwalitatief onderzoek. Kwantitatief onderzoek hebben we niet echt nodig. We weten toch wel dat er mensen naar ons kijken.'
'De redactie van het Radio 1-journaal is doorgaans veel kritischer dan het publiek. Er vallen dingen op die de luisteraar niet hoort of merkt', zegt Henk van Hoorn. 'Ik vind dat ook de taak van de redactie: je moet voorop lopen. Dat is het nut van de evaluatie.'

Radio 1 evalueert misschien wel het meest van allemaal. Van Hoorn: 'Het Radio 1-journaal wordt aansluitend na de uitzending doorgenomen. De totale redactie bestaat uit honderd man. Een probleem is dat elke uitzending door slechts een deel van de redactie wordt gemaakt. Alleen de redacteuren van die ene uitzending zijn daar dus bij. En zelfs die zijn niet allemaal op de hoogte van alles. Er gaat natuurlijk ook veel langs je heen. Zeker tijdens een actualiteitenprogramma kan tot op het laatst veel mis gaan. Een geplande gast komt niet opdagen, waardoor een item verloren gaat, of het schema moet worden aangepast.'
'Met-het-oog-op-morgen wordt één keer per week tijdens de redactievergadering geëvalueerd. Alle uitzendingen worden doorgenomen. Dat kan vrij gemakkelijk, omdat er zeven per week zijn. Het is vaak een pittige evaluatie, maar het heeft wel een rechstreeks effect. Bij het Radio 1-nieuws is de evaluatie een stuk globaler, omdat we dagelijks veel uitzendingen hebben. Je kunt wel op uitspraken van namen letten. De uitzendingen nemen we 's ochtends vlug door, maar we streven er naar om één keer per maand grondig te evalueren en dan letten we op structurelere dingen als taalkwesties of de manier van presenteren.'
Een duidelijk voorbeeld van kritisch naar jezelf en je publiek kijken, is het radioprogramma Met-het-oog-op-morgen. Van Hoorn: 'De opzet is gelijk gebleven, maar de lengte, de keuze en de aanpak van het onderwerp zijn veranderd. Voorbeeld: We constateerden vorig jaar dat het einde van de uitzending de neiging had om weg te kabbelen. We vonden dat we daarvoor iets anders moesten verzinnen. Zo ontstond de rubriek 'vijf voor twaalf'. Daarin stop je dan een aansprekend onderwerp zodat je nog net voor het einde de aandacht van de luisteraar kunt vasthouden.'
'Wat we ook geleerd hebben is dat je bepaalde mensen niet meer vraagt om in de uitzending te komen. Omdat ze te saai zijn bij voorbeeld. We hebben echt een soort zwarte lijst waarop mensen staan die we niet meer moeten vragen om in de uitzending te komen.'

Iedere redactie lijkt overtuigd van de noodzaak van evaluatie. Maar een handleiding voor evaluatie voor redacties ontbreekt. Elke redactie lijkt een eigen systeem te ontwikkelen en misschien is dat nog te veel gezegd: men probeert het een tijdje zus en doet het dan weer een tijdje zo.
Eigenlijk zou elke redactie een lijst moeten hebben met punten waarop men zichzelf regelmatig wil (laten) beoordelen: taal, stijl, selectie, vormgeving, doelgroepgerichtheid, creativiteit, efficiëncy, enzovoort. Daarbij kan - naast de reeds genoemde mogelijkheden - een veelheid van instrumenten dienst doen. Een redactielid of een buitenstaander kan een paar maanden op taal letten, in de redactievergadering kan een vergelijking worden gemaakt met gelijksoortige media in het buitenland, je kunt een analyse van missers en rectificaties maken, in plaats van het grote lezers/luisteraars/kijkers-onderzoek is ook een gericht onderzoek naar een bepaalde onderdelen mogelijk.
Er is eigenlijk maar een regel die altijd opgaat: zorg dat je een systeem hebt om de kwaliteit van de eigen productie te evalueren. En toets op gezette tijden of dat systeem werkt.

Kwaliteit moeilijk meetbaar
Kwaliteit meten, hoe doe je dat? Jan van Cuilenburg, hoogleraar Communicatiewetenschap aan de UvA, noemt kwaliteit een vaag begrip. 'Het grappige van kwaliteit is dat we eigenlijk niet weten wat het is.'
Cuilenburg: 'Het hangt er maar van af vanuit welk standpunt je ernaar kijkt. Een journalist let op andere dingen dan een uitgever of een lezer. Iedereen heeft een vaag idee bij kwaliteit. Het is een soort proces waarbij je elkaar kunt aanspreken op bepaalde zaken. Belangrijk is dat de waarde van een standpunt altijd relatief is, hoewel we het over een aantal dingen meestal met elkaar eens zijn. Zoals objectiviteit, hoor en wederhoor, nauwkeurigheid, relevantie en openheid. Het zijn de deugden die in het normaal menselijk verkeer ook gelden. De grondgedachte is die van de pluraliteit. Daar hechten we zeer aan in ons land. Niemand heeft de waarheid in pacht.'
Volgens Van Cuilenburg zijn evaluaties te vakmatig. 'Men kijkt naar de technische kanten: foutloos Nederlands, omgang bronnen, openheid en transparantie. Toch denk ik dat het interessanter is als de hogere waarden, de meta-waarden, tijdens een evaluatie ook zouden worden gemeten. Bij voorbeeld: Hoe organiseer je je eigen oppositie? Je ziet bij Haagse redacties dat men erg hangt aan vaste bronnen en collega's. Heb je wel vernieuwing? Opiniebladen, ik noem geen namen, zitten soms te lang vast aan hun oude formule. Sinds eind jaren zeventig groeien deze bladen niet of nauwelijks meer. Sommige zien er nog steeds hetzelfde uit. Ze groeien gewoon mee met hun oudste generatie lezers. De redactie is vergrijsd. Zeker voor de jongere generatie zijn die bladen vaak zeer vervelend om te lezen.'
Van Cuilenburg: 'Een rondreizend circus zoals Bert Vuijsje dat noemt, zie je ook bij de universiteiten. We hebben visitatiecommissies. Voordeel hiervan is dat je elkaars vakgenoten bent, nadeel is dat het een soort gilde wordt. Veel wetenschappers zijn  - dat zie je bij veel beroepsgroepen - in zichzelf gekeerd: Het gaat er niet zo zeer om wat het publiek vindt, maar het is belangrijk wat de collega's ervan vinden en wat zij doen.'
De hoogleraar vindt de huidige discussie over journalistieke kwaliteit niet goed. 'We moeten meer het debat in gaan. De discussie moet niet alleen plaats vinden in de beroepsgroep. Dan sluiten de gelederen zich alleen maar. Ik pleit voor een meta-discussie. Ik zou streven naar een mengvorm van journalisten, uitgevers en naastliggende professies als wetenschappers, schrijvers, kunstenaars, juristen en politici. En dat zou systematisch moeten gebeuren. Maar journalisten zijn over het algemeen niet gewend om met buitenstaanders over hun eigen vak te spreken. Terwijl men juist steeds mondiger wordt. Mensen zijn de afgelopen decennia steeds hoger opgeleid. Driekwart van de jongeren gaat naar de havo of het vwo. Daar moet je rekening mee houden.'
Het is nog niet zo slecht gesteld met de kwaliteit van onze media. Van Cuilenburg: 'Vergeleken met het buitenland is de kwaliteit van de dagbladen, grosso modo, zeer behoorlijk. Ook de vakbladen hebben een zeer hoog niveau. De kwaliteit van televisie is uiteenlopend. Van goede journalistieke programma's tot pulp. Maar er wordt wel door veel mensen naar pulp gekeken. Je moet uitkijken dat je kwaliteit niet uitlegt als iets exclusiefs, terwijl het gros van de mensen naar iets anders kijkt. Je moet de tv-keuze van de bevolking serieus nemen, maar soms mag je het voerbakje iets hoger hangen.'
Moet de overheid dan een opvoedkundige taak hebben? Van Cuilenburg: 'Nee, opvoeden houdt echt op als je achttien bent. Het is simpel: Er is aanbod. De belangrijkste overheidstaak is het scheppen van randvoorwaarden. Verder zijn er voor wie dat wil de kwaliteitsmedia. Die worden misschien niet massaal bekeken, maar kijkcijfers zijn relatief. Lady Di is een zeldzaamheid, daar werd massaal naar gekeken. Maar bij een voetbalwedstrijd waar 'massaal' zes miljoen  mensen naar kijken, heb je nog altijd tien miljoen mensen die niet kijken. Dan kom je bij de pluriformiteit.'
Bij het evalueren zijn er volgens Van Cuilenburg twee signalen: 'Het gaat slecht, want de lezers- of kijkersaantallen lopen terug. Of het gaat goed, maar dan moet je je afvragen of je miet te populair of te lui aan het worden bent? Ik zou me kunnen voorstellen dat een vakorganisatie als de NVJ zich voortdurend engageert in een breed, publiek debat over journalistieke kwaliteit: als er geen openheid meer is, alles vanzelfsprekend is, of wanneer je geen nieuwe geluiden meer hoort, dan heb je een groot probleem. Ivoren torens of ivoren cafés zijn dodelijke mechanismen. Er wordt vaak te paniekerig gereageerd op kritiek van buiten. Je moet ervoor zorgen dat je op een niet bedreigende manier kritiek levert. Zeker in een consensus-land als Nederland. Maar misschien hebben sommige wetenschappers de neiging om de witte doktersjas  aan te trekken en met het vingertje te wijzen.'
Van Cuilenburg is kritisch over de openheid en kwaliteit van de journalistiek. 'Ik vind dat de uitspraken van de Raad voor de Journalistiek meer openbaar moeten zijn. Je kunt de volledige uitspraak lezen in De Journalist en op Internet. Maar kranten, tijdschriften en omroepen zouden zelf royaler aandacht moeten geven aan uitspraken over henzelf.'
Het is volgens Van Cuilenburg niet makkelijker geworden op journalistieke kwaliteit te leveren. 'Mensen zijn steeds mobieler, de technologie is sterk verbeterd. De mensen zijn verwend. Een nadeel van die snelle, technische ontwikkelingen is dat je soms instant journalistiek krijgt: alles wordt gelijk op de satelliet gegooid, waardoor achtergrondinformatie verloren gaat. De journalist als cameraman. De selectiviteit verdwijnt dan. Daar bewijs je het publiek geen dienst mee. Dat betaalt voor kwaliteit.'