Een vooruitziende blik

Om de mogelijkheden van ex-ante-effectonderzoek voor rekenkamers te verkennen, organiseerde de Rekenkamer Rotterdam hierover op 29 januari 2015 in Rotterdam een werkseminar. Tijdens dit seminar, waar vertegenwoordigers van alle soorten rekenkamers, universiteit en gemeentelijke onderzoeksafdelingen aanwezig waren, gaven vier toonaangevende onderzoekers een presentatie over ex-anteeffectonderzoeken. In dit artikel wordt verslag gedaan van deze vier presentaties, de discussie hierover en de te trekken lessen voor rekenkamers.

Het moge vele lezers van TPC inmiddels bekend zijn: lokale rekenkamers worden geacht het door het bestuur gevoerde bestuur te onderzoeken. Daarbij kan het de rechtmatigheid, doelmatigheid of effectiviteit van bestuur en beleid betreffen, zo stipuleert de Gemeentewet. De desbetreffende bepalingen reppen over gevoerd bestuur, wat betekent dat onderzoek een ex-post-karakter heeft. Dergelijk onderzoek blikt vooral terug in het verleden en kan het verwijt opleveren dat ‘de koe in zijn kont wordt gekeken’. Steeds meer rekenkamers doen dan ook ex-ante-onderzoeken, maar het betreft dan vaak handreikingen of toetsingskaders die aan de voorkant van het beleid worden opgesteld. Rekenkameronderzoek naar de vraag of voorgenomen beleid daadwerkelijk effectief zal zijn, ontbreekt.

Voor het ontbreken van ex-ante-effectonderzoek kunnen tal van redenen zijn, zoals de omvang van een dergelijk onderzoek, moeilijkheden met het vaststellen van de daadwerkelijke bijdrage van beleid en bestuur (is er causaliteit tussen het in te zetten instrument en het beleidsdoel?) en het gebrek aan een nulmeting. Deze beperkingen gelden overigens evengoed voor ex-post-effectiviteitsonderzoek, wat binnen de rekenkamerwereld ook relatief schaars is. Eerder zijn in TPC handreikingen gegeven hoe dergelijke beperkingen het hoofd kan worden geboden.1 Als er voldoende mogelijkheden zijn voor waarlijk ex-post-effectiviteitsonderzoek, waarom dan niet voor ex-ante-effectonderzoek? Hoe kan worden voorkomen dat ex-ante-effectonderzoek geen kijkje in een glazen bol is, maar onderzoek met een vooruitziende blik?

Theory of Change
De eerste spreker van het seminar was Erik Snel, docent aan de Erasmus Universiteit. Snel doet onderzoek naar de praktijk van sociaal beleid en is deskundige op het gebied van beleidsinterventies. In zijn presentatie legt hij de mogelijkheden van Theory of Change-evaluatie (TOC) uit.2 Met dit type evaluatie wordt gepoogd de veronderstellingen achter interventies helder te krijgen.
De eerste stap van TOC-evaluatie is het reconstrueren van de zogenoemde ‘veranderingstheorie’. Dit wordt gedaan met behulp van betrokkenen bij de beleidsvorming. Bij de reconstructie wordt gekeken naar de doelen van de beleidsmakers, de voorwaarden die nodig zouden zijn om deze doelen te bereiken en de interventies die zouden moeten worden uitgevoerd om deze voorwaarden te bewerkstelligen. Daarna moet de veranderingstheorie onderbouwd worden zodat deze plausibel en uitvoerbaar is. Deze onderbouwing kan worden gedaan door wetenschappelijke kennis en eerder evaluatieonderzoek te raadplegen. De derde stap is het meten van de interventieactiviteiten en de beoogde doelen. Ten slotte moeten de resultaten worden geanalyseerd en geïnterpreteerd: leidt de interventie daadwerkelijk tot de beoogde doelen?

TOC-evaluatie is interessant voor rekenkamers omdat dit type evaluatie niet alleen inzicht geeft in de veronderstellingen van beleid, maar ook laat zien of deze veronderstellingen breed gedragen worden. Daarnaast kan een rekenkamer door het raadplegen van wetenschappelijke kennis, ook uitspraken doen over de verwachte plausibiliteit van interventies.
Verder is TOC-evaluatie een verantwoord en praktisch alternatief voor klassiek evaluatieonderzoek waarvoor een (niet altijd beschikbare) controlegroep nodig is. Hoewel TOC-evaluatie een ex-post-karakter heeft, kunnen de eerste stappen (het reconstrueren en beoordelen van de beleidstheorie) evengoed in ex-ante-onderzoek plaatsvinden.

Lessen voor rekenkamers
Tijdens de discussie werd vooral de toepasbaarheid van dit type onderzoek voor rekenkamers besproken. Zo is het de vraag of je als rekenkamer, en dus als buitenstaander, wel de bij beleidsmakers levende veronderstellingen kan toetsen, met name als deze niet uitgesproken zijn of op papier staan. Snel erkent dat dit voor een externe partij als een rekenkamer inderdaad lastig is, maar, en daarom is het belangrijk om juist geen buitenstaander te zijn, TOC-evaluatie is een participatieve evaluatie waarbij je het gesprek aan gaat met alle betrokkenen. De rekenkamer zou bij dit type onderzoek het proces moeten begeleiden.

Bovendien zijn beleidsdoelen vaak vaag of omstreden. Om deze helder te krijgen moet je geen buitenstaander zijn, maar juist meer betrokken.

Dit riep evenwel een vervolgvraag op, namelijk naar de positie van de rekenkamer. Wanneer je als rekenkamer met betrokkenen de beleidstheorie gaat reconstrueren, wat betekent dit dan voor je onafhankelijke positie als rekenkamer? Wordt de rekenkamer niet te veel medebeleidsmaker of adviseur in plaats van de controleur die de rekenkamer geacht wordt te zijn? Snel laat weten dat dit inderdaad consequenties heeft voor je positie als rekenkamer, maar dat dit niet nadelig hoeft te zijn. De rol als buitenstaander bemoeilijkt juist het werk als onderzoeker en vaak is er een kloof tussen de onderzoeker en de professional. TOC-evaluatie kan deze kloof verkleinen, waarbij het uiteraard zaak is een onafhankelijk controleur te blijven. Niettemin blijft er een zekere spanning tussen de formele positie van de rekenkamer en de rol die zij in een TOC-evaluatie inneemt.

Verder is de vraag gesteld of rationalisering van beleid achteraf niet leidt tot beleidsveronderstellingen die aan de voorkant wellicht helemaal niet ten grondslag lagen aan het beleid. Snel geeft aan dat rationalisering van beleid alleen maar voordelen biedt. Zo kan dan bijvoorbeeld worden geconcludeerd dat veronderstellingen die bij de start ten grondslag lagen aan het beleid niet plausibel waren, of dat veronderstellingen door de tijd heen zijn veranderd.

Theoriegestuurde evaluatie
De tweede presentatie, door Vasco Lub, betrof een empirische invulling van de vlak daarvoor gepresenteerde methode van Snel. Lub is socioloog en onderzoekt grootstedelijke vraagstukken en lokaal sociaal beleid en zijn stelling is: ga als onderzoeker bij de start van een evaluatie eerst eens de bibliotheek in.

Tijdens zijn presentatie is hij ingegaan op zijn onderzoek met theoriegestuurde evaluatie op het gebied van sociale interventies.3 De eerste stap van zo’n theoriegestuurde evaluatie is het inventariseren van voorgenomen interventies op een bepaald beleidsterrein. Daarna worden de achterliggende theorieën van deze interventies gereconstrueerd: wat zijn de veronderstellingen, waarom zouden deze interventies werken? Vervolgens wordt aan de hand van wetenschappelijke literatuur in kaart gebracht wat er bekend is over de uitkomsten van de interventies. Aan de hand hiervan worden de beleidstheorieën beoordeeld en worden de inzichten vertaald naar beleidsimplicaties.

Een voordeel van theoriegestuurde evaluatie is dat rekenkamers hiermee inzicht kunnen geven aan beleidsmakers in de kans dat een interventie werkt, zonder dat een real-life-evaluatie moet worden uitgevoerd. Hiermee is theoriegestuurde evaluatie ook een nuttige alternatieve onderzoeksmethode voor het onderzoeken van moeilijk meetbare sociale interventies. Tevens is dit type evaluatie een effectief middel tegen zogeheten beleidsamnesie. Gemeenten willen of moeten vaak vernieuwend zijn. Hierdoor bedenken beleidsmakers iets, maar vergeten dat de interventie eigenlijk niets nieuws is. Beleidsmakers negeren hiermee bestaande kennis en veel interventies lijken dan ook uiteindelijk op elkaar. Kortom, ook beleidsmakers zouden vaker naar de bibliotheek moeten.

Lessen voor rekenkamers
Deze oproep leidde evenwel tot de vraag of een rekenkamerrapport enkel kan worden gebaseerd op literatuuronderzoek, laat staan of rekenkamers wel toegang hebben tot de relevante wetenschappelijke kennis. Het merendeel van de aanwezige rekenkameronderzoekers vond dat literatuur zeker niet de enige informatiebron kan zijn voor een rekenkamerrapport. Gemeenten vinden het namelijk belangrijk dat de rekenkamer kijkt naar wat er in de praktijk gebeurt en niet in de boeken achter een bureau blijft zitten. Aan de andere kant werd onderkend dat de bibliotheek als kennisbron niet vaak wordt aangeboord.

Mocht de bibliotheek wel worden gevonden, dan is het nog van belang dat dit type toetsing van interventies vooral iets zegt over de slagingskans van maatregelen en niet over de feitelijke impact. Theoriegestuurde evaluatie laat de plausibiliteit vaan interventies zien, maar biedt geen garantie dat maatregelen ook daadwerkelijk werken. Daarnaast is de politieke realiteit van beleid van belang. Beleidsmakers kunnen politiek verbonden zijn aan een bepaalde maatregel. Lub noemt als voorbeeld het onderzoek naar het eerdergenoemde straatcoachesproject waaruit bleek dat de interventie niet zou leiden tot de beoogde doelen. De reactie van burgemeester op de uitkomst van het onderzoek was volgens Lub: “Ja dat dachten we al, maar de straatcoaches vinden het zo leuk en we werken goed samen.” Een van de aanwezigen vertelt vervolgens over een Rotterdams rekenkameronderzoek naar veiligheid. Uit andere studies bleek dat de aanwezigheid van mobiele controleteams een negatief effect heeft op de veiligheidsbeleving van reizigers in het openbaar bestuur. Deze conclusie werd door politici bij wie veiligheid hoog in het vaandel staat, weggewoven met de uitspraak ‘ik geloof dit gewoon niet’.

Ten slotte hoeven niet alleen politieke opvattingen en voorkeuren een legitimatie voor bepaalde beleidskeuzen te zijn, maar ook ethische overwegingen kunnen dat zijn. Als bijvoorbeeld uit onderzoek blijkt dat mensen met een uitkering het beste uit bepaalde wijken kunnen worden geweerd, dan kunnen ethische of ideologische overwegingen reden zijn om dat juist niet te doen. Kortom, tegenover de waarheid uit de bibliotheek, kunnen geheel andere waarheden staan.

Maatschappelijke kosten-batenanalyse
Een derde type ex-ante-onderzoek is maatschappelijke kosten-batenanalyse (MKBA). Sigrid Schenk, werkzaam als senior consultant bij Rebel, legde tijdens het seminar hier meer over uit.4

Bij een MKBA staat de volgende vraag centraal: “Is deze investering of interventie aantrekkelijk vanuit een economisch perspectief?” Het uitvoeren van een MKBA begint met het beschrijven van het probleem of de ambitie. Daarna worden achtereenvolgens de goedkoopste optie om de ambitie te bereiken en de alternatieven vastgesteld. Een volgende stap is het benoemen van de directe en indirecte effecten van deze alternatieven. Vervolgens worden de kosten en baten gekwantificeerd, en de risico’s benoemd en gewaardeerd. Ten slotte wordt inzicht gegeven in de verdeling van de kosten en baten tussen de betrokken actoren.

Een MKBA is interessant voor rekenkamers, omdat hiermee inzicht kan worden gegeven in de potentiële kosteneffectiviteit van een interventie. Bovendien laat een MKBA zien welke actoren deze kosten dragen en welke actoren het meest profijt hebben van een interventie. Verder is een MKBA waardevol in sectoren die normaal gesproken alleen maar geld lijken te kosten en niets opleveren, zoals de zorg en het onderwijs. Een MKBA kan laten zien wat investeringen in deze sectoren kunnen opleveren.

Lessen voor rekenkamers
Hoewel een MKBA van toegevoegde waarde kan zijn, blijkt uit de discussie na afloop van de presentatie dat de aanwezige rekenkamers zo goed als geen MKBA’s uitvoeren. Gemeenten doen dit echter wel. Deze MKBA’s kunnen daarmee waardevolle informatie bevatten voor rekenkamers, maar een belangrijke vraag daarbij is wel: hoe goed zijn deze MKBA’s uitgevoerd?

Verder werd tijdens de discussie benadrukt dat het belangrijk is om zich niet blind te staren op de uitkomst in getallen. Belangrijker is het om te kijken naar wat de interventie betekent voor alle betrokkenen. Getallen zijn alleen een middel om inzicht te krijgen in wie welke bijdrage moet leveren om welk effect te krijgen. Er is altijd een zekere onzekerheidsmarge en uitkomsten hebben vooral een voorspellend karakter.

Ten slotte is de uitdaging bij het uitvoeren van een MKBA het berekenen van de impact van een interventie. De prijs en directe baten van een interventie zijn nog relatief eenvoudig te bepalen op basis van statistische gegevens. De omvang van het effect van een interventie is echter moeilijker te berekenen.

Meta-evaluatie van ex-ante-onderzoek
In de laatste presentatie gaf Carolien Klein Haarhuis inzicht in de mate waarin de rijksoverheid gebruikt maakt van ex-ante-onderzoek. Klein Haarhuis is werkzaam als onderzoeker bij het WODC, het Wetenschappelijk Onderzoek- en Documentatiecentrum van het ministerie van Veiligheid en Justitie.

In haar onderzoek5 heeft Klein Haarhuis in de eerste plaats gekeken naar het aantal en het type uitgevoerde ex-ante-onderzoeken. De rijksoverheid heeft in de periode 2005-2011 ruim 300 ex-ante-onderzoeken gepubliceerd van veel verschillende typen. Zo is van de 300 onderzoeken 16 procent een (M)KBA. Een (M)KBA is hierbij gedefinieerd als een onderzoek waarin verschillende doelen en alternatieven zijn samengebracht in één analyse met eventueel een maatschappelijke kosten- en batenberekening. Zo’n 13 procent van de 300 gevonden onderzoeken is een effectiviteitsevaluatie. Hierbij staat de vraag centraal: kan een doel met het voorziene instrumentarium, dan wel kunnen de alternatieven, bereikt worden?6

In het onderzoek van Klein Haarhuis zijn vervolgens vijf ex-anteonderzoeken verder geanalyseerd. Hierbij is onder andere het gebruik van de resultaten van ex-ante-onderzoeken in kaart gebracht. In de praktijk blijkt dat er door beleidsmakers in aanzienlijke mate kennis wordt genomen van deze resultaten. Er is echter een wisselende mate van standpuntbeïnvloeding; er wordt dus niet altijd anders naar bepaalde ideeën gekeken. Verder was in drie van de vijf gevallen ook echt sprake van (enige) doorwerking in het beleid, waardoor er andere keuzes zijn gemaakt dan voorheen.

Er zijn verschillende verklaringen voor het al dan niet gebruiken van de resultaten van ex-ante-onderzoek. De (politieke) besluitvormingscontext en de timing zijn van doorslaggevend belang: in welke mate kan een onderzoek (nog) invloed hebben? Daarnaast zouden de betrokkenheid van stakeholders, de kwaliteit van het onderzoek en de toegankelijkheid van onderzoeksresultaten een rol kunnen spelen. Overigens blijkt uit het onderzoek van Klein Haarhuis dat er nauwelijks onderzoek wordt gedaan naar de uitkomsten van de voorspellingen van ex-ante-onderzoek.

Lessen voor rekenkamers
Tijdens de discussie werd gevraagd wat goede ex-ante-onderzoeken zijn. Klein Haarhuis gaf aan dat elke methode zijn voor- en nadelen kent. Per individuele onderzoekscasus zal moeten worden afgewogen welke methode passend is. Zo is het belangrijk om het ontwerp van een ex-ante-onderzoek af te stemmen op de beschikbare data en de fase waarin de besluitvorming zich bevindt. In een vroege fase van de besluitvorming kan beter een verkenning op basis van eerdere ervaringen worden uitgevoerd. In een latere fase kan gekozen worden voor een effectiviteitsstudie en als er veel data beschikbaar zijn, is een MKBA een mogelijkheid.

Verder werd gevraagd welke leerpunten kunnen worden getrokken uit ex-post-onderzoeken waarbij de uitkomsten afweken van de ex-anteevaluaties. Ex-post-evaluaties bleken vaak te vroeg te komen om het effect goed te kunnen onderzoeken. De tip voor rekenkamers is dus om niet te snel ex-post-onderzoek uit te voeren naar het effect van beleid. De besluitvormingscontext en timing zijn cruciaal zijn voor het goed uitvoeren van ex-ante-onderzoek. Een laatste les voor rekenkamers is om er rekening mee te houden dat ex-ante-resultaten altijd onzeker zijn en daarom ruimte overlaten voor politieke interpretatie.

Tot slot
Dit laatste punt raakt misschien wel de belangrijkste les die uit (de discussie naar aanleiding van) de vier presentaties kan worden getrokken: rekenkameronderzoek wordt in een politiek-bestuurlijke context uitgevoerd, wat voor de acceptatie van met name ex-ante-effectonderzoek grote gevolgen kan hebben. Moeilijkheden als de toegankelijkheid van wetenschappelijke informatie over beoogde interventies of het in financiële zin vertalen van effecten zijn tamelijk technische hordes, die op zichzelf te nemen zijn. Lastiger is het gegeven dat uitkomsten van ex-ante-onderzoek altijd een zekere onzekerheidsmarge kennen, wat door politieke voor- en tegenstanders van een bepaald beleid kan worden uitgebuit. Uitkomsten zouden kunnen worden gebagatelliseerd (‘de rekenkamer kijkt in een glazen bol’), ontkend (bekende effecten van interventies worden niet geloofd) of genegeerd (het draait politiek gezien uiteindelijk niet om de werkelijke effecten). Laat dit echter geen reden zijn om dergelijk onderzoek achterwege te laten. De methodes liggen er en door hiervan gebruik te maken kan een rekenkameronderzoek evengoed van grote toegevoegde waarde blijken.

Werkt u voor of bij een rekenkamer(commissie) of heeft u het seminar bijgewoond? En heeft u opmerkingen, vragen of discussiepunten? Laat het de redactie weten!
De presentaties van het seminar zijn terug te vinden op de website van de Rekenkamer Rotterdam: www.rekenkamer.rotterdam.nl.

Nienke van Norel Msc. is werkzaam als junior onderzoeker bij de Rekenkamer Rotterdam. Dr. Rolf Willemse is teamleider bij de Rekenkamer Rotterdam.

Noten
1 Willemse, R. (2012). ‘Gebrek aan Effectiviteitsonderzoek door Rekenkamers: Oplossingen voor Vermeende Obstakels’. Tijdschrift voor Public Governance, Audit & Control, Vol. 4, pp. 15-19.
2 Voor meer informatie over het onderzoek van Erik Snel, zie: Snel, E. (2013). ‘De Theory of Change-benadering: Weten Is Méér Dan Meten’. In: J. Omlo, M. Bool en P. Rensen (red.), Weten Wat Werkt. Passend Evaluatieonderzoek in het Sociale Domein, pp. 145-164. Amsterdam: Uitgeverij SWP.
3 Voor meer informatie over het onderzoek van Vasco Lub, zie: Lub, V. (2013). Schoon, Heel en Werkzaam? Een Wetenschappelijke Beoordeling van Sociale Interventies op het Terrein van Buurtleefbaarheid. Den Haag: Boom Lemma.
4 Zie bijvoorbeeld: Schenk, S. & Duursema, H. (2013). Maatschappelijke Kosten-Batenanalyse: Pilot Wraparound Care Helmond. Rotterdam: Rebel.
5 Voor meer informatie over het onderzoek van Carolien Klein Haarhuis, zie: Klein Haarhuis, C.M. & Keulemans, S.A.C. (2014). Ex Ante Onderzoek in Metaperspectief: Aard, Aantallen en Gebruik van Ex Ante Analyses door de Rijksoverheid. Den Haag: Boom Lemma.
6 Zie ook het recente nummer van TPC (april 2015) dat grotendeels is gewijd aan MKBA’s.