Coördineren van beleidsevaluaties

De overheid maakt beleid met als doel maatschappelijke problemen op te lossen en tracht dit beleid voortdurend te verbeteren. Daarom is het uitvoeren van goede beleidsevaluaties essentieel. Dit is makkelijker gezegd dan gedaan. Uit onderzoek blijkt dat ministeries worstelen met de vraag hoe deze beleidsevaluaties te coördineren, opdat onafhankelijkheid gewaarborgd is én de beleidsdirecties zich dusdanig betrokken voelen dat zij de aanbevelingen ook overnemen.

In 1999 is door Regering en Tweede Kamer de operatie ‘Van Beleidsbegroting Tot Beleidsverantwoording (VBTB)’ ingezet. Deze operatie had als doel de begroting informatiever te maken en het parlement beter in staat te stellen begroting en jaarverslag te beoordelen. Daarmee is het belang van beleidsinformatie toegenomen en is de nadruk meer en meer komen te liggen op goede beleidsevaluaties2, en dus ook op een goede coördinatie van beleidsevaluaties. Om te achterhalen hoe deze coördinatie verbeterd kan worden, is een onderzoek3 uitgevoerd onder de ministeries.

Het onderzoek heeft zich gericht op de verplichtingen en verwachtingen waaraan de ministeries moeten voldoen en op de wijzen waarop beleidsevaluaties gecoördineerd worden. In dit artikel staan de uitkomsten van het onderzoek centraal. Achtereenvolgens komt aan de orde: (1) de Regeling Prestatiegegevens en Evaluatieonderzoek rijksoverheid (RPE); (2) de verschillende coördinatiestructuren die gehanteerd worden, waarbij wordt ingegaan op het betrekken van beleidsdirecties bij beleidsevaluaties; (3) de eis van onafhankelijkheid en de spanning die bestaat tussen deze eis en het betrekken van beleidsdirecties en; (4) een mogelijke coördinatiestructuur welke tegemoetkomt aan zowel de betrokkenheid van beleidsdirecties als het waarborgen van onafhankelijkheid.

De RPE: vrijheid in de inrichting van de coördinatie

Ministeries hebben in principe wel een handreiking voor de manier waarop zij om moeten gaan met beleidsevaluaties. De verplichtingen en verwachtingen waaraan ministeries moeten voldoen zijn door het Ministerie van Financiën vastgelegd in de RPE. Per 1 januari 2006 is de RPE vernieuwd. Naast de handreiking die de RPE biedt, kan de RPE ook bijdragen aan de complexiteit van de coördinatie. De RPE gaat namelijk in op verschillende typen beleidsevaluaties, maar laat ministeries vrij in de manier waarop de coördinatie van de typen beleidsevaluaties wordt ingevuld.

De verschillende typen evaluatieonderzoeken zijn ex-ante en ex-post onderzoek.4 Ex-ante onderzoek betekent een analyse van de te verwachten maatschappelijke effecten van beleidsalternatieven in relatie tot de maatschappelijke kosten. Ex-post onderzoek is periodiek onderzoek naar de doeltreffendheid en de doelmatigheid van het beleid. Binnen ex-post onderzoek kan onderscheid gemaakt worden tussen de beleidsdoorlichting en effectenonderzoek ex-post. Een beleidsdoorlichting is een evaluatie op het niveau van de algemene of operationele doelstelling, effectenonderzoek ex-post vindt plaats op instrumentniveau. De beleidsdoorlichting is vergelijkbaar met een syntheseonderzoek, dat gebruik maakt van de effectenevaluaties die reeds zijn uitgevoerd. Een voorbeeld: bij de algemene doelstelling ‘het aantal verkeersslachtoffers op de weg verminderen’, is ‘de meerjarenvoorlichtingscampagne verkeersveiligheid’ een instrument om deze doelstelling te bereiken.

Typen evaluatieonderzoeken

De nieuwe RPE legt de nadruk vooral op de beleidsdoorlichting, die periodiek moet worden uitgevoerd. Uit de nieuwe RPE vloeien geen extra verplichtingen voort ten aanzien van ex-ante evaluaties.5 Andere belangrijke verplichtingen die in de RPE zijn vastgelegd, betreffen het betrouwbaar en controleerbaar zijn van beleidsinformatie en het waarborgen van onafhankelijkheid.

De RPE gaat echter niet in op de manier waarop de coördinatie van deze verschillende typen evaluatieonderzoeken binnen ministeries moet worden ingericht. Binnen de ministeries zijn de directies FEZ voor deze invulling verantwoordelijk. Doordat FEZ-directies veel vrijheid hebben in deze, worden uiteenlopende structuren gehanteerd en gaat de invulling vaak gepaard met vraagtekens en twijfels. Naar aanleiding van de gesprekken met de evaluatiecoördinatoren op de ministeries, zijn de verschillende structuren in de tabel opgenomen, waarbij de coördinatie, rol van de FEZ-directie en/of andere organen bij beleidsevaluaties en de wijze van uitvoering en waarborging van onafhankelijkheid per ministerie zijn aangegeven.6

Het belang van betrokkenheid van beleidsdirecties

De coördinatiestructuren die terug te vinden zijn binnen de ministeries lopen uiteen van decentrale tot centrale coördinatie. De ene structuur is niet per definitie beter dan de ander, dit is afhankelijk van de exacte invulling van de structuur.
De meeste FEZ-directies binnen ministeries kiezen ervoor om de coördinatie decentraal te houden. Dit betekent dat beleidsdirecties zelf het initiatief nemen tot de beleidsevaluaties, en zelf de planning maken. Door de coördinatie decentraal te houden, willen zij de betrokkenheid van beleidsdirecties bij de beleidsevaluaties bewerkstellingen. Een enkel ministerie legt de verantwoordelijkheid centraal. Daar ligt de verantwoordelijkheid bij de organen die de beleidsevaluaties uitvoeren, zoals een Afdeling Beleidsevaluatie. Beleidsdirecties worden slechts op afstand betrokken: in de fase dat zij het concept plan van aanpak te zien krijgen en in de fase dat zij gehoor mogen gegeven aan de uitkomsten van het onderzoek. Deze minimale betrokkenheid kan leiden tot weerstand.7
De kans dat beleidsdirecties aanbevelingen overnemen is groter wanneer zij zich ook daadwerkelijk betrokken voelen bij de beleidsevaluatie. Het overnemen van aanbevelingen en daarmee het leren van beleidsevaluaties kan bijdragen aan de verbetering van het beleid. Nog vaak blijkt echter dat beleidsevaluaties niet in een hoog vaandel staan bij beleidsmedewerkers, wat opvallend is. Beleidsmedewerkers leggen de prioriteiten bij het maken van nieuw beleid, maar hoe kan je kwalitatief hoogwaardig beleid maken, wanneer je niet hebt geleerd van je vorige resultaten? Om te zorgen dat beleidsmedewerkers het belang in gaan zien van beleidsevaluaties zal men beleidsdirecties een rol moeten laten spelen bij de uitvoering van de beleidsevaluaties.
Door de beleidsdirecties te betrekken bij beleidsevaluaties betekent niet vanzelfsprekend dat de coördinatie ook goed is. FEZ-directies moeten namelijk toezien op: (1) periodieke uitvoering van beleidsevaluaties op alle beleidsartikelen en; (2) de wijze van uitvoering van deze beleidsevaluaties. Deze twee belangrijke pijlers binnen de nadere invulling van decentrale coördinatie worden ook wel aangeduid als ‘dekkendheid’ respectievelijk ‘prioriteitstelling’.

Dekkendheid impliceert dat de FEZ-directie controleert of de beleidsdoelstellingen in de begroting die geëvalueerd moeten worden, opgenomen zijn in de aangeleverde planning. Prioriteitstelling houdt in dat de FEZ-directie aan de hand van criteria, bijvoorbeeld politiekbestuurlijke gevoeligheid, capaciteit en financiële omvang van het instrument of operationeel doel, bepaalt welke rol van de FEZ-directie bij de desbetreffende beleidsevaluatie gewenst is.
Hoewel deze twee pijlers van groot belang zijn voor een goede coördinatie, wordt hier niet binnen alle ministeries aandacht aan besteed. Bij een aantal ministeries is dit te wijten aan reorganisatieprocessen of gebrek aan capaciteit. Vooral het centraal bepalen van de prioriteiten en de gewenste rol van de FEZ-directie bij de beleidsevaluaties ontbreekt op veel ministeries. De gewenste rol wordt bij de FEZ-directies op deze ministeries vooral op persoonlijke en ad hoc basis door de FEZ dossierhouders ingevuld, of wordt overgelaten aan de controlafdeling van de beleidsdirectie. Het gevaar ontstaat daardoor dat er totaal geen overzicht is welke belangrijke beleidsevaluaties (moeten) worden uitgevoerd, en wie daar in welke mate de ‘control’ over heeft.

Onafhankelijkheid en de spanning met betrokkenheid

De FEZ-directie moet toezien of beleidsevaluaties wel op de juiste manier worden uitgevoerd. Een belangrijk aspect hierbij is dat onafhankelijkheid gewaarborgd moet zijn. Beleidsevaluaties die niet onafhankelijk zijn, leiden logischerwijs niet tot objectieve oordelen en nuttige aanbevelingen. Deze onafhankelijkheid kan echter botsen met het betrekken van de beleidsdirecties. Zijn de beleidsevaluaties nog wel onafhankelijk, wanneer bijvoorbeeld de beleidsdirectie het onderzoek zelf aanstuurt? Aan de andere kant wanneer het onderzoek centraal wordt uitgevoerd, en beleidsdirecties slechts beperkt betrokken worden, hoe groot is dan de kans dat aanbevelingen worden overgenomen en beleidsmedewerkers ooit het belang in gaan zien van beleidsevaluaties?
De eis van onafhankelijkheid komt nadrukkelijk in de RPE aan de orde. Onafhankelijken zijn volgens de RPE deskundigen die geen verantwoordelijkheid dragen voor het te onderzoeken beleid en waarvan een onafhankelijk oordeel mag worden verwacht. Deze onafhankelijkheid kan bijvoorbeeld gewaarborgd worden door een klankbordcommissie of begeleidingscommissie in te stellen waarin personen deelnemen die geen raakvlak hebben met het te evalueren beleidsveld, zoals personen van andere ministeries, universiteiten, et cetera. Nadere inrichting van deze onafhankelijkheid laat de RPE over aan de ministeries.
De meeste ministeries stellen inderdaad begeleidingscommissies of klankbordcommissies in en/of besteden onderzoeken uit aan externe bureaus. Een aantal ministeries heeft een apart orgaan, dat beleidsevaluaties uitvoert of betrokken is daarbij. Ook hier bestaat weer verscheidenheid in. Het ministerie van Defensie heeft de Afdeling Beleidsevaluatie8 die de beleidsevaluaties altijd uitvoert. Op het ministerie Buitenlandse Zaken heeft de beleidsdirectie zelf de keuze of zij, haar eigen evaluatiedienst ‘de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie’ (IOB) inschakelt. Daarnaast kan de IOB ook op eigen initiatief evaluatieonderzoek ondernemen. En op het ministerie van Justitie ondersteunt het Wetenschappelijk Onderzoeks- en DocumentatieCentrum de beleidsevaluaties. De opdrachtgever van de beleidsevaluaties is bij bijna alle ministeries echter de beleidsdirectie zelf. Hierbij kan men zich dus afvragen in hoeverre de beleidsevaluatie onafhankelijk wordt uitgevoerd. Beleidsdirecties kunnen in de praktijk middels hun rol als opdrachtgever resultaten van de beleidsevaluatie sturen, waardoor de onafhankelijkheid in het geding komt.

De prangende vraag die dan ook klinkt bij een aantal FEZ-directies is: op welke manier is die onafhankelijkheid te waarborgen, en wel zodanig dat ook de beleidsdirecties zich betrokken voelen en het belang van goede beleidsevaluaties gaan inzien?

Balans tussen betrokkenheid en onafhankelijkheid

Binnen het ministerie van Volksgezondheid, Welzijn en Sport is men in het kader van de beleidsdoorlichtingen gestart met een aantal pilots bestaande uit het opzetten van een pool van beleidsmedewerkers. Om het VBTB-gedachtegoed te internaliseren en beleidsmedewerkers meer bewust te maken van het belang van beleidsevaluaties is een dergelijke pool niet alleen in het kader van de beleidsdoorlichtingen, maar zeker ook voor andere evaluatieonderzoeken een geschikte invulling. Beleidsmedewerkers kunnen zich aanmelden voor een dergelijke pool. Voor de evaluatieonderzoeken worden uit de pool steeds verschillende teams opgezet. Als lid van de pool evalueren beleidsmedewerkers niet hun eigen beleidsterrein, maar dat van andere beleidsmedewerkers. Het effect hiervan is dat beleidsmedewerkers de ervaringen die ze opdoen mee nemen naar hun eigen werkplek.
De betrokkenheid van beleidsdirecties is met de onderzoekspool gewaarborgd. Hoe zit het vervolgens met de controle door de FEZ-directie en de onafhankelijkheid? De FEZ-directie kan een prominente rol vervullen voor een dergelijke pool door faciliteiten te bieden. Zo kan zij haar rol invullen door de voorzitter van de onderzoeksteams aan te wijzen. Om tegemoet te komen aan het waarborgen van de onafhankelijkheid lijkt het verstandig hiervoor een deskundig persoon van buiten het ministerie aan te wijzen. Tevens is het raadzaam dat de FEZ-directie de klankbord- of begeleidingscommissie inricht waarvoor zij deskundige externe onderzoekers instelt. Hiermee wordt de onafhankelijkheid en kwaliteit gewaarborgd. Daarnaast is het vanuit het oogpunt van onafhankelijkheid aan te bevelen, dat de FEZ-directie voor een dergelijke pool de rol van opdrachtgever invult, wat nog wel een verschil is met de pilots die op het ministerie van Volksgezondheid, Welzijn en Sport zijn uitgevoerd. Op deze manier rapporteert de pool aan de FEZ-directie en niet aan de beleidsdirectie. Het is in deze ook de FEZ-directie die aangeeft op welke punten het onderzoek nog verbetering behoeft. Naast haar rol als facilitator en opdrachtgever kan de FEZdirectie haar rol als evaluatiecoördinator blijven vervullen door onder andere toe te zien op de dekkendheid van aangeleverde planningen.
Dergelijke onderzoekspools binnen ministeries zorgen dus voor een goede balans tussen het betrekken van beleidsdirecties bij beleidsevaluaties en het waarborgen van de onafhankelijkheid. Uit de gesprekken met evaluatiecoördinatoren is mij voorgekomen dat voor de bewerkstelliging van onderzoekspools het echter nog wel raadzaam is aandacht te besteden aan de volgende punten: (1) Beleidsmedewerkers die zich voor een deel van de tijd gaan inzetten voor een pool, zijn niet meer fulltime beschikbaar voor de eigen beleidsdirectie; (2) Communicatiecampagnes moeten worden opgezet binnen ministeries om beleidsmedewerkers aan te trekken; (3) Ook binnen FEZ moeten medewerkers vrij gemaakt worden ten behoeve van haar faciliterende en opdrachtgevende rol.
Na aandacht besteed te hebben aan deze punten, lijken onderzoekspools een goede mogelijkheid te bieden voor het uitvoeren van objectieve onafhankelijke beleidsevaluaties én het creëren van bewustzijn van het belang van beleidsevaluaties. Nu moet de praktijk maar uitwijzen of het daadwerkelijk werkt!

Coördinatiestructuren per ministerie

Sanne Djojosoeparto MSc wisselt als rijkstrainee bij het Ministerie van Verkeer en Waterstaat elk half jaar van werkplek. Sinds 1 oktober 2007 is zij gedetacheerd werkzaam bij de Algemene Rekenkamer. Het onderzoek waarop zij dit artikel baseerde, voerde zij uit op haar eerste werkplek op het Ministerie van Verkeer en Waterstaat, te weten de Hoofddirectie Financiën, Management en Control (FMC), Directie Beleidscontrol . Daar was zij van september 2006 t/m maart 2007 werkzaam. Dit artikel schreef zij op persoonlijke titel.

Noten
1 De term Financieel-Economische Zaken is hier in algemene zin gebruikt. Een aantal ministeries hanteert andere namen. Voorbeelden van dergelijke namen zijn Financiën, Management en Control (FMC) en Directie FEZ (DFEZ).
2 http://www.minfin.nl/nl/onderwerpen, begroting/vbtb.
3 Binnen Verkeer en Waterstaat, Hoofddirectie Financiën, Management en Control (FMC), was de vraag ontstaan op welke manier de coördinatie van beleidsevaluaties het beste ingericht zou kunnen worden. Er lagen twee vragen:

1. Wat wordt er van ons verwacht?
2. Hoe hebben andere ministeries de coördinatie van beleidsevaluaties ingericht?

Om de eerste vraag te beantwoorden heb ik de Regeling Prestatie en Evaluatiegegevens (RPE) geraadpleegd. Daarnaast ben ik een gesprek aangegaan met een medewerker bij de Inspectie Rijksfinanciën (IRF), Bureau Beleidsonderzoek. Dit bureau coördineert de Interdepartementale Beleidsonderzoeken en het VBTB-gebeuren. Om de tweede vraag te beantwoorden heb ik gesproken met de evaluatiecoördinatoren bij de FEZ-directies van de verschillende ministeries.
4 De RPE gaat tevens in op bedrijfsvoeringsonderzoeken. Deze onderzoeken worden hier buiten beschouwing gelaten.
5 In artikel 7 van de RPE is opgenomen dat bij de beleidsonderbouwing zoveel mogelijk gebruik wordt gemaakt van informatie verkregen met evaluatieonderzoek ex ante. Echter, omdat ministeries niet expliciet verplicht zijn ex-ante evaluaties uit te voeren, worden ex-ante evaluaties niet op alle ministeries gecoördineerd. Dit artikel richt zich dan ook met name op de coördinatie van ex-post beleidsevaluaties.
6 Met het ministerie van BZK is wegens omstandigheden geen gesprek gevoerd. Het ministerie van AZ komt niet aan de orde, aangezien daar geen sprake is van beleidsevaluaties zoals verwoord in de RPE.
7 Het ministerie van SZW had in 2002 een aparte directie Onderzoek en Ontwikkeling opgericht, welke een jaar later weer is opgeheven. Deze directie werd ervaren als te zelfstandig door beleidsdirecties die hun onderzoek niet meer terug herkenden, ook al werden zij betrokken.
8 Het ministerie van Defensie kent sinds kort een nieuwe organisatiestructuur. Voorheen bestond de Directie Beleidsevaluatie welke viel onder de DG Financiën en Control, naast o.a. de directie FEZ. De Afdeling Beleidsevaluatie is nu onderdeel van de Directie Beleidscontrol, een van de drie directies van de Hoofddirectie Financiën en Control.