Beleidsevaluaties: nog veel verbetering mogelijk

De Zuidelijke Rekenkamer heeft in 2011 en 2012 onderzocht hoe de provincies Limburg en Noord- Brabant omgaan met beleidsevaluaties. Dit in vervolg op eerdere onderzoeken uit 2006.1 De rekenkamer ging na wat de stand van zaken was met betrekking tot het gebruik van evaluaties en wat er terecht was gekomen van de toezeggingen van Gedeputeerde Staten naar aanleiding van haar eerdere onderzoeken.

Beleidsevaluaties vormen een belangrijke bron van informatie bij het formuleren, uitvoeren en bijsturen van beleid. Bovendien spelen ze een rol bij de verantwoording over wat er met de inzet van publieke middelen is gebeurd en welke resultaten dat heeft opgeleverd. Dat was ook de reden dat de rekenkamer het onderwerp als een van haar eerste onderzoeken in 2006 op de agenda zette.

De rekenkamer uitte in die eerste rapporten forse kritiek. Zo constateerde ze dat de beide provincies geen onderzoeksbeleid hadden en dat beleidsevaluaties niet systematisch en zeer verschillend binnen de provinciale organisatie werden ingezet. Ook plaatste de rekenkamer forse kanttekeningen bij de kwaliteit van de onderzochte evaluaties. Voor de meeste was het op basis van de dossiers niet mogelijk om het onderzoeksproces op hoofdlijnen te volgen, laat staan te reconstrueren. Vaak ontbraken een heldere doel- en vraagstelling en werd niet duidelijk welke onderzoekmethode was gehanteerd. Ook kregen veel onderzoeken ten onrechte de kwalificatie beleidsevaluatie.

In reactie op de rekenkamerrapporten trokken beide provincies het boetekleed aan en onderschreven de oproep om te komen tot een meer planmatige en systematische inzet van het instrument beleidsevaluatie. De toezeggingen van Gedeputeerde Staten van beide provincies vormden mede aanleiding om in 2011 en 2012 opnieuw de vinger aan de pols te houden en te beoordelen wat er sinds het eerste onderzoek van de rekenkamer was gebeurd.

Dat leidde tot goed nieuws en minder goed nieuws. Het goede nieuws is dat beide provincies vooral in de randvoorwaardelijke sfeer inmiddels een aantal belangrijke stappen hebben gezet Zo beschikken ze, op papier althans, over een systeem van beleidsevaluaties dat goede informatie kan genereren over de resultaten van het beleid (zie voor een onderdeel daarvan de kadertekst). Ook hebben ze in de organisatie een centrale eenheid ingericht die alle onderzoek beoordeelt en die een voortrekkersrol moet spelen in de onderzoeksprogrammering, het verhogen van de kwaliteit van onderzoek en het kritisch bevragen van de organisatie over de bredere benutting van de resultaten van onderzoek.

Het minder goede nieuws is dat er nog veel verbeterd moet worden in het functioneren van dit systeem in de praktijk. Nog steeds blijken veel evaluaties van onvoldoende kwaliteit, waardoor de bruikbaarheid van de uitkomsten gering is. Zo komt het voor dat uitspraken worden gedaan over wat er met het beleid is bereikt, terwijl dat onvoldoende wordt onderbouwd. Ook is niet altijd duidelijk waarop conclusies zijn gebaseerd. En als dat wel het geval is, geven de onderzoeksbevindingen vaak geen aanleiding tot het formuleren van stevige conclusies, terwijl dat wel gebeurt. Anders gezegd: op papier lijkt het op orde, maar de praktijk is minder rooskleurig.

Naast deze verbeterpunten staat de overheid in algemene zin voor een aantal uitdagingen als ze haar beleid wil evalueren. Om aandacht te besteden aan het bredere onderzoeksspectrum en suggesties te kunnen geven voor de verdere vormgeving van beleidsevaluaties door de beide provincies, heeft de rekenkamer in vervolg op haar onderzoek aan drie deskundigen uit de wereld van wetenschap, onderzoek en overheidspraktijk gevraagd om aan te geven welke ontwikkelingen en praktische mogelijkheden zij zien op het terrein van de beleidsevaluatie.2 Hun belangrijkste observaties worden hierna weergegeven.

Context van beleidsevaluaties
Bij beleidsevaluaties in het algemeen passen allereerst een paar opmerkingen over de context waarbinnen ze plaatsvinden. De eerste is dat de beleidspraktijk per definitie weerbarstig is. Bovendien loop je bij effectstudies tegen methodologische grenzen aan. Om maatschappelijke effecten van beleid haarscherp te kunnen vaststellen, heb je eigenlijk een klinisch laboratoriumonderzoek nodig, dat begint met een nulmeting, gevolgd door de introductie van een instrument en aan het eind afgesloten met een nameting die de veranderingen registreert en dan als kers op de taart ook nog eens een causaal verband weet te leggen tussen het resultaat en de inzet van het instrument. Zo mooi krijg je het in de praktijk bijna nooit. Peter van der Knaap, directeur Doelmatigheidsonderzoek van de Algemene Rekenkamer, omschrijft het in de publicatie Evalueren = Leren niet voor niets als het zoeken naar de heilige graal.
Vandaag de dag leven we in een netwerksamenleving, waarin beleidsinterventies van verschillende actoren – vaak in co-creatie tot stand gekomen – over elkaar heen buitelen. Dat maakt het moeilijk om daar de bijdrage van die ene actor uit te destilleren en in aparte verantwoordingsdocumenten voor de eigen volksvertegenwoordiging of achterban nauwkeurig vast te leggen. Volgens Frans Leeuw, directeur van het Wetenschappelijk Onderzoek- en Documentatiecentrum van het ministerie van Veiligheid en Justitie, is daar eigenlijk maar één oplossing voor. Die komt erop neer dat al vroeg in een traject de cruciale actoren scherp worden bevraagd: ‘Wat is uw verwachting van dit programma?’, ‘Waarom doet u mee?’, ‘Wat is uw bijdrage in termen van middelen en resultaten?’. En wanneer je vervolgens aan het eind in een netwerkevaluatie naar de resultaten van het programma hebt gekeken, dan kun je partijen confronteren met wat zij daar in het begin zelf over hebben gezegd. Op die manier wordt hun bijdrage aan het geheel ook in het goede perspectief geplaatst. ‘En dan kan de muis misschien wel roepen dat hij zo lekker samen met de olifant heeft gestampt, maar de andere deelnemers zullen hem dan toch tot de orde roepen en zijn verhaal in perspectief plaatsen’.
Zover is het in de praktijk nog vaak niet. Peter van der Knaap: “Succes heeft vele vaders. Als het fout gaat, ligt het anders.”

Meer aandacht ex ante onderzoek
De wereld van beleidsevaluatie is sterk in beweging. Een belangrijke ontwikkeling is een verschuiving van ex post in de richting van ex ante onderzoek. Peter van der Knaap: “Zinvolle evaluaties beginnen met serieuze aandacht voor wat je wilt bereiken. Daarvoor is geïnformeerde besluitvorming nodig en het zodanig vormgeven en uitwerken van je beleid dat je je niet achteraf vertwijfeld hoeft af te vragen wat nou eigenlijk ook alweer het doel van het beleid was en hoe je dat kunt operationaliseren.” Het begint met het autoriseren van het uitgeven van geld. En dat moet je goed beargumenteerd in de planning- en controldocumenten kunnen terugzien, wat vaak maar mondjesmaat gebeurt. Dan zie je in organisaties dat de onderzoekskolom en haar producten (onderzoeken, evaluaties, monitoringrapporten) zijn ‘losgezongen’ van de reguliere beleids- en P&C-cyclus: twee gescheiden werelden met ieder een eigen planning, rationaliteit en daarbij behorend idioom. Met alle denkbare spraakverwarring en misverstanden tot gevolg.

Een recent pleidooi voor een betere koppeling van de formele beleidscyclus en de cyclus van evaluaties en voor meer aandacht voor de voorkant van het beleidsproces is terug te vinden in de handreiking Evaluatie als fundering voor het beleid van het ministerie van Binnenlandse Zaken.3 Deze handreiking is gemaakt om een discussie aan te slingeren rond evidence-based policy, het zoveel mogelijk onderbouwen van beleid met feiten en bewezen relaties tussen instrumenten en uitkomsten. Meer aandacht voor de voorkant van het beleidsproces dus, waarbij je laat zien dat je op de hoogte bent van de allerlaatste inzichten in wat wel en niet werkt. Wat is er bekend over instrumenten die succesvol zouden kunnen zijn? Wat zijn succes- en faalfactoren? Alle veronderstellingen die aan het beleid ten grondslag liggen, met een chique term aangeduid als de beleidstheorie, moeten openbaar en voor discussie vatbaar worden gemaakt. Van der Knaap: “Als je dat niet op orde hebt dan kun je organiseren wat je wil, je kunt zaken verplicht stellen, maar dan blijf je altijd aan de achterkant bezig. Dat is misschien wel dankbaar voor een rekenkamer, maar het is natuurlijk niet de goede manier om duurzaam aandacht voor evaluatie te krijgen.”

Daarbij doet zich nog een interessant fenomeen voor. Beleid is over het algemeen gebaseerd op de aanname dat het werkt, tenzij het tegendeel wordt bewezen. Volgens Van der Knaap is het de moeite waard om dat eens om te draaien en uit te gaan van de stelling dat beleid juist niet werkt, tenzij het tegendeel wordt bewezen. Dat is ook de gedachte achter de horizonbepaling die door het kabinet onlangs is ingesteld voor subsidieregelingen.4 Die bepaling komt erop neer dat een subsidieregeling automatisch na maximaal vijf jaar vervalt. Afwijking van die regel is alleen mogelijk als met goede argumenten kan worden aangetoond dat een langere periode nodig is. Van zo’n bepaling gaat natuurlijk een grote stimulans voor alle betrokken partijen uit om de koe echt bij de horens te vatten en heel gericht na te gaan wat het maatschappelijke resultaat van een regeling is.

Perspectief van burgers
Maar er is nóg iets dat de toepassing van beleidsevaluaties op termijn wel eens in een ander daglicht zou kunnen plaatsen. Waar het monopolie op beleidsevaluaties op dit moment toch vooral ligt bij de professionele onderzoekers in wetenschappelijke instituten en onderzoeksorganisaties, ontstaan er hier en daar ook initiatieven van burgers, die als afnemers van beleid de overheid zélf gaan controleren. Er is inmiddels een grote stroom aan onderzoeksgegevens en statistische data over de meest uiteenlopende onderwerpen voor iedereen vrijelijk beschikbaar. Een stroom die alsmaar uitdijt. Gevolg is dat mensen en groeperingen die zich bekommeren om uiteenlopende maatschappelijke thema’s elkaar steeds gemakkelijker kunnen vinden en zich organiseren in communities die zich toeleggen op het analyseren van die gegevens en het leveren van commentaar op de informatie die ze daaraan ontlenen. Frans Leeuw: “In de app-wereld zie je de ene na de andere toepassing op de markt komen waarmee gegevens op alle mogelijke terreinen verzameld kunnen worden. Er zijn schitterende studies bijvoorbeeld waarin via burgers het beleid op het gebied van geluidsoverlast wordt getoetst.” Het laatste nieuws op dit gebied is een landelijke meting van fijnstof in het voorjaar van 2013, waarbij 10.000 mensen door middel van een opzetstukje en een app op hun smartphone tegelijkertijd de meting uitvoeren. De Universiteit van Leiden heeft voor dit citizen science experiment onlangs de Academische Jaarprijs 2012 gekregen.
Overheid en onderzoekswereld zullen dit burgerperspectief een plaats moeten geven in de manier waarop ze met onderzoek omgaan. Zij kunnen zich niet langer verschuilen in hun eigen wereld.

Leren uit het verleden
Misschien wel de meest belangrijke ontwikkeling in evaluatieonderzoek is het groeiend besef hoe belangrijk het is om evalueren veel nadrukkelijker te verbinden met leren. Froukje Boonstra van Alterra: “Waar wij steeds meer op uitkomen, is het combineren van verantwoorden en leren. Dat gaat onder de noemer van lerende organisaties. Daar zijn natuurlijk allerlei gradaties in. Essentieel is dat je gebruikers laat meedenken. Sowieso over je onderzoeksopzet, maar ook dat je regelmatig terugkoppelt met tussenresultaten en dat je probeert de organisatie te betrekken bij het geven van betekenis aan de resultaten.” Want hoe vaak komt het niet voor dat een onderzoek wordt uitgevoerd, de resultaten gepresenteerd en dat je vervolgens maar moet hopen dat het in de praktijk ook zijn werkt. Met lerende evaluaties wordt geprobeerd om het proces zo in te richten dat die werking al veel eerder begint.

Overigens blijkt keer op keer hoe lastig het is om echt lering te trekken uit het verleden. Saskia Stuiveling, de president van de Algemene Rekenkamer, droeg daar tijdens de Van Slingelandtlezing in 2007 de volgende verklaring voor aan: “De grootste leerblokkade voor overheidsorganisaties zie ik in het gegeven dat de politieke leiding op damage control en daarmee dus op defensief gedrag is ingesteld. Door deze houding krijgen organisaties tot in hun haarvaten vooral prikkels richting defensieve routines, waardoor er min of meer ingebouwde leerbarrières ontstaan en in stand worden gehouden’.5
Voor wie ervaring heeft in de wereld van politiek en bestuur een zeer plausibele verklaring. Hier is nog een wereld te winnen. Organisaties die erin slagen om evaluaties minder te zien als een verplicht nummer en meer als een uitgelezen kans om te leren van de beleidsuitvoering, zijn wat dat betreft op de goede weg. Het zou een goede zaak zijn als juist hierover ook verantwoording wordt afgelegd.

Piet de Kroon is directeur-secretaris van de Zuidelijke Rekenkamer.

Noten
1 De Zuidelijke Rekenkamer werd in 2005 opgericht als gemeenschappelijke rekenkamer voor de provincies Noord-Brabant en Limburg. De rekenkamer is onafhankelijk en heeft een wettelijke taak: het onderzoeken van de doeltreffendheid, doelmatigheid en rechtmatigheid van het provinciaal bestuur. Met haar onderzoeksrapporten ondersteunt de rekenkamer met name Provinciale Staten in hun controlerende en kaderstellende rol. De rapporten van de rekenkamer zijn openbaar. U vindt ze op de website www.zuidelijkerekenkamer.nl.
Onderzoeken van de Zuidelijke Rekenkamer die betrekking hebben op het onderwerp van dit artikel: De cirkel gesloten – Het gebruik van het instrument beleidsevaluatie door Gedeputeerde Staten van Limburg (2006); Focus op beleid – Het gebruik van het instrument beleidsevaluatie door Gedeputeerde Staten van Noord-Brabant (2006); Quickscan Evaluatie Informatieve Weg Noord- Brabant (2008); Aandachtspunten beleidsvoorbereiding (2011); Vervolgonderzoek beleidsevaluaties Limburg (2011); Vervolgonderzoek beleidsevaluaties Noord-Brabant (2012); Een toekomstbestendig strategisch informatiebeleid (2012); Evalueren = Leren (2012).
2 De Zuidelijke Rekenkamer sprak in dat verband met: Peter van der Knaap (directeur Doelmatigheidsonderzoek Algemene Rekenkamer), Froukje Boonstra (senior bestuurskundige Alterra) en Frans Leeuw (directeur Wetenschappelijk Onderzoek- en Documentatiecentrum van het ministerie van Veiligheid en Justitie). In dit artikel wordt gebruik gemaakt van deze interviews, die zijn vastgelegd in de publicatie Evalueren = Leren.
3 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, Afdeling Kennis & Strategie: Evaluatie als fundering van het beleid, Den Haag, juni 2012.
4 Brief van 2 mei 2012 van de minister van Financiën aan de Tweede Kamer, kenmerk BZ/2012/209M, over de introductie van een wettelijke horizonbepaling voor subsidieregelingen.
5 Saskia Stuiveling: Hardop denken, Van Slingelandtlezing 2007, uitgesproken 9 oktober 2007 in de Gotische Zaal van de Raad van State in Den Haag.