Effectiviteit van veel subsidies onbekend

22 oktober 2012 om 20:59 door Mariëlle van den Dongen, Marieke Gorrée, Erik Israël 0 reacties

Subsidies vormen een belangrijk sturingsinstrument voor de rijksoverheid bij het verwezenlijken van haar beleidsdoelen. Maar in hoeverre houdt het Rijk in de gaten of subsidiegelden effectief worden besteed? In dit artikel toetsen de auteurs de kwaliteit van de uitgevoerde evaluaties en kijken zij hoe de resultaten van de evaluaties in het beleid gebruikt zijn.

De rijksoverheid moet ernaar streven subsidiebudgetten effectief te besteden. Door de gebrekkige wijze waarop subsidies worden geëvalueerd is het echter voor veel subsidies onbekend of ze effectief zijn. Toch worden de uitkomsten van deze gebrekkige evaluaties gebruikt bij het nemen van beleidsbeslissingen over de voortzetting van subsidies. Bovendien worden signalen die wijzen op ineffectiviteit niet altijd opgepikt.

In 2010 verstrekte de rijksoverheid volgens het Subsidieoverzicht Rijk 2010 (Financiën, 2010, p. 11) 633 verschillende subsidies, waaraan ze in dat jaar naar verwachting ruim € 6 miljard zou uitgeven. Op grond van de rijksbegroting 2012 is te berekenen dat het subsidiebudget zelfs € 7,9 miljard bedraagt.

Voor een goed inzicht in de effectiviteit van de besteding van de subsidies is het van belang om subsidies regelmatig te evalueren op doeltreffendheid. Bovendien moeten ministers op grond van de Algemene wet bestuursrecht (artikel 4:24) subsidies met een wettelijke grondslag eens per vijf jaar evalueren.
In augustus 2010 presenteerden wij in dit tijdschrift al de resultaten van de eerste fase van ons onderzoek naar het evalueren van subsidies door de rijksoverheid (Van den Dongen et al., 2010). Hieruit bleek dat van de subsidies die volgens het Subsidieoverzicht Rijk 2010 al vóór 2005 gestart waren en dus vijf jaar of ouder waren, er maar liefst 59% nog niet geëvalueerd waren (Algemene Rekenkamer, 2010). In dat onderzoek kondigden we aan dat we in een vervolgonderzoek de kwaliteit van de wél uitgevoerde evaluaties zouden toetsen. In het voorliggende artikel beschrijven we de uitkomsten van dit vervolgonderzoek.¹

We gaan hierbij in op de volgende vragen:

Zijn de in het SOR 2010 vermelde evaluaties aanwezig?
Wat is de kwaliteit van de uitgevoerde evaluaties en wat bleek daaruit over de effectiviteit van de onderzochte subsidies?
Hoe zijn de resultaten van de evaluaties gebruikt in het beleid?
Hoe is de Tweede Kamer geïnformeerd over de uitkomsten en het gebruik van de evaluaties?

Minder effectevaluaties
In ons vervolgonderzoek hebben we allereerst alle subsidie-evaluaties opgevraagd die volgens het SOR 2010 in de periode van 2005 tot en met 2009 zouden zijn gepubliceerd. Volgens het SOR 2010 zou het moeten gaan om evaluaties van 111 van de 633 subsidies. In werkelijkheid bleken dit er veel minder te zijn. Hiervoor waren verschillende oorzaken:

Sommige evaluaties bestonden niet.
Sommige evaluaties gingen niet over de effectiviteit van de subsidie.
Sommige subsidies en bijbehorende evaluaties stonden dubbel vermeld in het SOR 2010.

Aan de andere kant bleken er ook evaluaties aanwezig te zijn die niet in het SOR 2010 werden vermeld. Uiteindelijk resulteerde onze inventarisatie in 59 geëvalueerde subsidies. Dit is net iets meer dan de helft van wat er op grond van het SOR 2010 verwacht mocht worden.

Voor 9 van deze subsidies gold bovendien dat de evaluatie bij nadere bestudering toch niet in de onderzoeksperiode 2005-2009 viel, doordat de publicatiedatum afweek van de evaluatiedatum in het SOR 2010. Hiermee resteerden voor ons onderzoek 50 subsidies met effectevaluaties (zie figuur 1). Die 50 subsidies vallen onder de verantwoordelijkheid van alle ministers, behalve die van Algemene Zaken (dit ministerie verstrekt geen subsidies), Binnenlandse Zaken, Defensie, Financiën en Volksgezondheid, Welzijn en Sport (VWS).

Figuur 1. Aantal op effectiviteit geëvalueerde en door ons onderzochte subsidies

Gebrekkige evaluatie
De 50 subsidies zijn in 53 evaluaties onderzocht.² In slechts 9 van de 53 gevallen kunnen we op basis van de evaluatie met redelijke zekerheid iets zeggen over de werkzaamheid van de subsidie: in 4 gevallen dat de subsidie werkt, in 5 andere dat de subsidie niet werkt (zie figuur 2). Dat er onduidelijkheid bestaat over de effectiviteit van geëvalueerde subsidies is in de meeste gevallen terug te voeren op gebreken in het evaluatieonderzoek (gebrekkige onderzoeksopzet) en/ of in de verslaglegging daarover (onduidelijke informatie over hoe het effectiviteitsonderzoek is uitgevoerd). Bovendien bestaat er vaak geen helderheid over de doelen van de subsidie. Of de door de minister beoogde doelen gehaald zijn, valt dan niet goed te zeggen (zie kader ‘Onduidelijke doelen belemmeren meten effectiviteit ex post’).

Figuur 2. Aantal evaluaties die inzicht geven in effectiviteit van subsidie

Onduidelijke doelen belemmeren meten effectiviteit ex post
Bij de evaluatie van de subsidieregeling voor passend onderwijs geven de evaluatoren aan dat het onduidelijk is wat er in de subsidieregeling precies onder ‘passend onderwijs en onder ‘realisatie van een onderwijscontinuüm’ wordt verstaan. De evaluatoren geven aan dat zij niet kunnen zeggen of de doelen bereikt zullen worden “zonder een antwoord op de vraag wát er dan precies ‘af’ moet zijn” (Pranger et al., 2009).
Ook de adviescommissie die de evaluatie heeft laten uitvoeren constateert: “De doelstellingen die middels de interventies bereikt moeten worden, moeten duidelijk geoperationaliseerd zijn om na te kunnen gaan of zij ook worden bereikt. Een dergelijke opzet van de evaluatie is niet goed mogelijk gezien het gebrek aan vaste, eenduidig en meetbaar geformuleerde doelen” (ECPO, 2009).

Een mogelijke verklaring voor de gebrekkige wijze van evalueren is dat er nauwelijks wettelijke kwaliteitseisen zijn vastgelegd voor subsidie-evaluaties. De Rijksbegrotingsvoorschriften 2011 bevatten de geldende kwaliteitseisen. Die bieden naar onze mening te weinig houvast voor de technische kwaliteit van uit te voeren evaluaties. Hierin staat weliswaar, dat op basis van een verantwoorde effectevaluatie kan worden bepaald in welke mate de doelrealisatie is toe te schrijven aan het gevoerde beleid en dat dit vereist dat de situatie mét beleid kan worden afgezet tegen de situatie zónder beleid, of met ánder beleid (Financiën, 2010c, p. 68), maar er is niet in aangegeven dat dit een voorschrift is voor evaluatieonderzoek bij het Rijk. De wel opgenomen voorschriften luiden:

De verantwoordelijkheden en bevoegdheden in het totstandkomingsproces moeten helder zijn verdeeld en het totstandkomingsproces moet achteraf reconstrueerbaar zijn.
De onafhankelijkheid van de evaluatieonderzoeken moet zijn gewaarborgd.
Van de beleidsinformatie moet duidelijk zijn aangegeven wat de bron is.

Naar onze mening zijn dit geen voldoende voorwaarden voor een goede evaluatie van de effectiviteit. Belangrijke voorwaarden zijn volgens ons wel:

De meting van de effecten moet valide zijn.
De vraag of de effecten kunnen worden toegeschreven aan de subsidie moet worden beantwoord.
De conclusies moeten deugdelijk zijn onderbouwd.

Overigens zijn we ons zeer bewust van het feit dat evalueren, en dan vooral het aantonen van de causaliteit, lastig is: kunnen de gemeten effecten worden toegeschreven aan de subsidie? We gaan er hier daarom wat dieper op in.

De meest overtuigende manier om deze causaliteit aannemelijk te maken is het maken van een vergelijking tussen een groep die subsidie ontving en een vergelijkbare groep die deze niet (of minder) ontving. De ideale opzet hiervoor is een experimenteel of quasi-experimenteel onderzoek waarbij sprake is van:

een voor- en een nameting;
een groep die de subsidie ontvangt; en
een goed vergelijkbare controlegroep waarbij dit niet het geval is.

Op deze manier kunnen de effecten die optreden bij de subsidieontvangers zowel worden vergeleken met de situatie vóór invoering van de subsidie, als met de effecten die optreden in een controlegroep die geen subsidie heeft ontvangen. Diverse auteurs geven aan dat ook wanneer beleid niet bewust op een experimentele manier is vormgegeven, er toch vaak mogelijkheden zijn voor een quasi-experiment ((Bosker, 2009; Leeuw & Vaessen, 2009; Webbink, 2010). Bijvoorbeeld, door bij gefaseerd ingevoerd beleid de groepen die (nog) geen subsidie ontvingen te gebruiken als controlegroep. De vergelijkbaarheid van de subsidieontvangers en de controlegroep verdient bij dit soort quasi-experimenten wel extra aandacht. Goede kennis van de verschillende evaluatiemethoden is hierbij van belang.

Een (quasi-)experimentele opzet zal echter lang niet altijd mogelijk zijn. In die gevallen is het van belang te kijken naar andere mogelijkheden om inzicht te verkrijgen in de causale relatie tussen effecten en subsidie. Mogelijkheden hiervoor zijn bijvoorbeeld een verdiepende casestudy, bevragen van de subsidieontvangers en andere stakeholders, benchmarking of een goed onderbouwde plausibiliteitsredenering. Het is wel belangrijk de beperkingen van deze benaderingen goed voor ogen te houden. Zo kan het bevragen van subsidieontvangers wellicht een te rooskleurig beeld geven van de noodzaak van de subsidie. Ook moet een plausilibiliteitsredenering meer zijn dan het alleen herhalen van de theorie die ten grondslag ligt aan de invoering van de subsidie. Bijvoorbeeld door het aandragen van aanvullend bewijs uit wetenschappelijke studies voor (delen van) deze theorie.

We vinden dan ook niet dat elke evaluatie een experimentele opzet moet hebben of anders niet voldoende van kwaliteit is. We pleiten wel voor meer goed onderzoek (zie verder ook de laatste paragraaf van dit artikel).

Gebruik resultaten evaluaties
Evaluaties verdwijnen over het algemeen niet ongebruikt in een la. In veel gevallen wordt de subsidie aangepast op grond van de evaluatie en vervolgens voortgezet. Denk daarbij aan wijzigingen in subsidiedoelen, voorwaarden, uitvoering of financiering.

In niet één van de 53 door ons onderzochte evaluaties is er echter op grond van de evaluatie besloten om de subsidie stop te zetten. Beleidsambtenaren hebben ons verschillende redenen genoemd om toch door te gaan met een subsidie, ook al blijkt uit een evaluatie dat die niet goed werkt. Ze zijn ervan overtuigd dat de subsidie toch werkt of dat de subsidie ook andere beleidsdoelen dient die niet in de evaluatie betrokken waren. Ook strategische of morele redenen kunnen een rol spelen: er is breed politiek draagvlak voor, er is geen alternatief beleidsinstrument voorhanden of niets doen is geen optie.

Voorbeelden van subsidies die niet zijn stopgezet
De evaluaties van de subsidieregeling ‘Buitenlandse arthouse films’ en van de subsidieregeling ‘Distributie buitenlandse jeugdfilms’ roepen vragen op over de doeltreffendheid van de subsidies. Zo blijkt het vooruitzicht van subsidie bij de beslissing van distributeurs over de aankoop van een specifieke arthousefilm niet in hun (risico)afweging te worden meegenomen en wordt subsidie voor de distributie van buitenlandse jeugdfilms nauwelijks aangevraagd. Representatief voor de rol van de subsidieregeling voor arthousefilms, aldus het evaluatierapport, waren de volgende woorden van een van de distributeurs: “De subsidie is een cadeautje achteraf. De regeling beïnvloedt niet onze acquisitie” (Verstraeten, 2007).
Er wordt op basis van deze conclusies echter niet tot stopzetting besloten. Dit is in het geval van de subsidieregeling ‘Buitenlandse arthouse films’ wel enigszins verklaarbaar, aangezien in dezelfde evaluatie wordt aanbevolen de regeling (met enkele aanpassingen) te handhaven. Een andere reden voor het Filmfonds en het ministerie van OCW om door te gaan met deze subsidie is dat zij niet twijfelen aan de noodzaak van subsidie om het kwantitatieve en kwalitatieve aanbod van buitenlandse arthousefilms op peil te houden, iets wat in het evaluatieonderzoek onvoldoende aan bod komt volgens de betrokken beleidsmedewerker.
In het geval van de evaluatie van de subsidieregeling ‘Distributie buitenlandse jeugdfilms' heeft het Filmfonds aangegeven eigenlijk de regeling te willen stopzetten, wegens het gebrek aan belangstelling bij distributeurs. Na signalen dat de regeling zou worden stopgezet, bleek toch een aantal distributeurs interesse te hebben voor gebruikmaking van de regeling. Het Filmfonds heeft vervolgens besloten voorlopig door te gaan met de regeling.

Conclusie
Zoals we hiervoor al aangaven, geldt voor de meeste van de door ons bekeken evaluaties dat de kwaliteit van het uitgevoerde onderzoek onduidelijk is of gebreken vertoont. Deze tekortkomingen hebben vrijwel nooit consequenties voor het gebruik ervan. Wij signaleren dan ook bij de rijksoverheid het risico dat beslissingen om subsidies (ongewijzigd) voort te zetten worden genomen op basis van informatie uit effectevaluaties die niet of onduidelijk is onderbouwd.

Informatie aan de Tweede Kamer schiet tekort
De Tweede Kamer heeft in twee derde van de evaluaties (36 van de 53) de uitkomsten ontvangen, meestal in de vorm van de evaluatie samen met een beleidsreactie van de minister. We hebben geconstateerd dat die informatie vaak (20 van de 36) gebaseerd is op niet-deugdelijke conclusies uit de evaluatieonderzoeken. Het gaat dan om conclusies waarvan de onderbouwing onduidelijk is of waarbij er onzekerheid is over de juistheid ervan. Met deze subsidies is meer dan 300 miljoen euro gemoeid.

In drie gevallen moeten we zelfs constateren dat er sprake is van gekleurde informatievoorziening aan de Tweede Kamer. In die gevallen zijn alleen de positieve uitkomsten aan de Kamer gemeld en niet de negatieve (zie kader).

Gekleurde informatie over uitkomsten van subsidie-evaluaties

NESO-programma voor internationale samenwerking in het hoger onderwijs (OCW)
In 2009 verscheen een evaluatie van het NESO-programma van het ministerie van Onderwijs, Cultuur en Wetenschap (OCW), dat erop gericht is om de naamsbekendheid van Nederland als kennisland in tien gekozen doellanden te vergroten en te versterken door middel van Netherlands Education Support Offices (NESO’s).
De minister meldde aan de Tweede Kamer onder meer dat het programma in een duidelijke behoefte voorziet en succesvol is. Hij meldde niet dat uit de evaluatie blijkt dat de meeste NESO’s nog te kort bestaan om nu al van een integraal succes te kunnen spreken.

Subsidie Atlantische Commissie (BuZa)
De Atlantische Commissie geeft voorlichting over transatlantische samenwerking en laat onderzoek doen naar de transatlantische betrekkingen. Zij ontvangt daarvoor subsidie van het ministerie van Buitenlandse Zaken (BuZa).
In 2010 verscheen een evaluatierapport over deze subsidie. De minister van BuZa heeft alleen de zes positieve hoofdbevindingen uit het rapport aan de Tweede Kamer gemeld, de drie bevindingen die minder positief waren niet.

Subsidie Technologische topinstituten (EZ)
Technologische topinstituten (TTI’s) hebben als doel om wetenschappelijke excellentie die relevant is voor het bedrijfsleven, te stimuleren. Op die manier moet de innovatiecapaciteit en daarmee de concurrentiepositie van het Nederlandse bedrijfsleven worden verstevigd.
Begin 2006 stuurde de minister van Economische Zaken (EZ) een evaluatie van de subsidie voor TTI’s naar de Tweede Kamer, en ook haar beleidsreactie daarop. In die reactie vermeldde zij alleen de positieve conclusie dat het TTI-programma de start en ontwikkeling van vier succesvolle TTI’s mogelijk heeft gemaakt. Een conclusie die in tegenspraak is met de vorige stond echter niet in de beleidsreactie.

De bevinding dat de informatie aan de Tweede Kamer tekortschiet, moet geplaatst worden naast het feit dat de Tweede Kamer al langdurig en bij herhaling heeft aangegeven goed geïnformeerd te willen worden over subsidies. Zo wenst de Tweede Kamer een periodieke inventarisatie van subsidies: regelmatig op een rij zetten welke subsidies er eigenlijk bestaan. In 1996 heeft de Tweede Kamer aangegeven dat overzicht jaarlijks te willen hebben, in 2002 heeft ze aangegeven daar eens per vier jaar een evaluatieve brief bij te willen hebben. In 2009 gaf ze aan een frequenter overzicht te willen dan eens in de vier jaar, een periode waarvoor het kabinet inmiddels gekozen had.

Verder heeft de Kamer bij herhaling uitgesproken inzicht te willen hebben in de doeltreffendheid van subsidies. Dat heeft ze al in 2002 gedaan. In 2003 is de motie Van As aangenomen (Tweede Kamer, 2003), waarin staat dat verlenging van een subsidie alleen mogelijk is na een evaluatie. Ook in 2006 en vervolgens in 2009 met de motie Weekers (Tweede Kamer, 2009) heeft de Tweede Kamer haar vraag naar inzicht in de doeltreffendheid van subsidies herhaald.
Inmiddels zijn er subsidiebijlagen bij de begrotingen 2012 van de ministeries verschenen. Deze dienen ter vervanging van het SOR 2010. De bedoeling is dat ze jaarlijks zullen verschijnen. Dat is een stap op de goede weg. Maar tegelijkertijd constateren we dat deze overzichten op diverse punten niet voorzien in de wensen van de Tweede Kamer. Zo staan er geen subsidiedoelstellingen, geen begin- en einddata, en ook geen de uitkomsten van de afgeronde evaluatieonderzoeken in.

Tot slot vermelden we een belangrijke bijvangst van ons onderzoek. We gebruikten als basis voor het onderzoek het SOR 2010, de enige bron van informatie over de subsidies die het Rijk verstrekt. Tijdens de rit moesten we constateren dat dit subsidieoverzicht op allerlei punten tekortschiet. Zo bleek de informatie daarin niet altijd juist. Niet alle vermelde financiële bijdragen zijn subsidies; niet alle vermelde evaluaties bestaan ook echt, niet alle budgetten kloppen; datums kloppen niet, waardoor het problematisch is om na te gaan of aan de plicht eens per vijf jaar te evalueren is voldaan. Verder is de informatie niet consistent. Het ministerie van Sociale Zaken en Werkgelegenheid (SZW) benoemt bijvoorbeeld alle incidentele subsidies die op grond van de Kaderwet SZW-subsidies worden verstrekt apart in het overzicht, terwijl het ministerie van VWS dat niet doet en de Subsidieregeling VWS-subsidies als één subsidieregeling telt, hoewel onder die paraplu vele honderden subsidies worden verstrekt.
Hierdoor is bijvoorbeeld niet bekend hoeveel evaluaties van vijf jaar of ouder ten onrechte niet zijn geëvalueerd.

Hoe nu verder?
Op grond van onze bevindingen pleiten wij allereerst voor het meer en beter evalueren van subsidies. We gaven al aan dat evalueren niet eenvoudig is. Om een bijdrage aan beter evalueren te leveren hebben wij een handreiking ontwikkeld, waarin we de belangrijkst aandachtspunten en tips voor een goede subsidie-evaluatie op een rij zetten (Algemene Rekenkamer, 2011a). De tips richten zich op drie fasen in het evaluatieproces:

Fase 1 betreft het creëren van randvoorwaarden: al bij het vormgeven van een subsidie moet rekening worden gehouden met het feit dat er naderhand zal worden geëvalueerd. Dit kan onder andere door het helder vastleggen van doelen en beleidstheorie en het plannen van de evaluatie en monitoring.
Fase 2 betreft de voorbereiding en uitvoering van de evaluatie: er moet van tevoren worden gezorgd voor voldoende deskundigheid en de kwaliteit van de evaluatie moet goed worden bewaakt, zowel bij de opzet, de uitvoering als de afronding ervan.
Fase 3 betreft de benutting van de resultaten van de evaluatie: na afronding van het onderzoek moet ervoor worden gezorgd dat de evaluatie op een goede manier wordt gebruikt voor het afleggen van verantwoording over de subsidie-uitgaven en voor het trekken van lessen.

Om deze punten verder onder de aandacht te brengen organiseren we workshops, waarin we met de handreiking in de praktijk samen met beleidsambtenaren aan de slag gaan.³

Ten tweede pleiten we ervoor dat de overheid alleen van góed uitgevoerde effectevaluaties de resultaten gebruikt bij het nemen van beleidsbeslissingen en bij de verantwoording aan de Tweede Kamer. Op dit moment zijn er echter geen duidelijke beoordelingscriteria voor de inhoudelijke kwaliteit van evaluaties van subsidies (en ander beleid). Dat is wel van belang. Immers, alleen van kwalitatief goede informatie kun je verantwoord leren. De minister van Financiën zou daarom dergelijke beoordelingscriteria moeten vastleggen. Hij gaf in reactie op ons rapport aan geen inhoudelijke kwaliteitscriteria te willen vastleggen, onder meer omdat het vaak moeilijk is de situatie met en zonder beleid onderling te vergelijken.

Wij bevelen ten slotte aan om subsidies waarvan uit onderzoek is gebleken dat ze niet effectief zijn, stop te zetten, tenzij er zwaarwegende redenen zijn om er toch mee door te gaan. In het regeerakkoord van het kabinet Rutte/Verhagen staat een nog strenger principe: “Subsidies, althans die ter versterking van de positie van bedrijven en ondernemers, worden alleen verstrekt indien de effectiviteit ervan is bewezen” (Informateur, 2010, p 11). De minister van Financiën gaf in zijn reactie op ons rapport aan, geen beslisregel te willen, omdat de beslissing om een subsidie stop te zetten een politieke weging vergt waarbij de uitkomsten van evaluaties wel worden benut maar niet het enige criterium zijn. Wij vragen echter niet om een beslisregel, maar om transparantie. Ministers moeten, in dergelijke gevallen van bewezen niet-effectiviteit, hun beslissing om een subsidie voort te zetten in samenspraak met het parlement maken.

Mw. M.E. van den Dongen, mw. drs. M. Gorrée en drs. F.J. Israël zijn allen werkzaam bij de Algemene Rekenkamer en hebben dit artikel op persoonlijke titel geschreven.

Noten
¹ De resultaten hierna zijn gebaseerd op het rapport Leren van subsidieevaluaties (Algemene Rekenkamer, 2011b).
² Voor een aantal subsidies waren meer dan één evaluatie beschikbaar.
³ De workshops zijn bedoeld voor rijksambtenaren. Mocht u meer informatie over deze workshops willen hebben of eraan willen deelnemen, stuur dan een mail (effectevaluaties@rekenkamer.nl).

Literatuur

Algemene Rekenkamer (2010). Inzicht in belastinguitgaven, specifieke uitkeringen en subsidies. Den Haag: Sdu.
Algemene Rekenkamer (2011a). Handreiking effectevaluaties van subsidies, Randvoorwaarden, uitvoering en benutting. Den Haag: Algemene Rekenkamer.
Algemene Rekenkamer (2011b). Leren van subsidie-evaluaties. Tweede Kamer, vergaderjaar 2011-2012, 33 034, nr. 2. Den Haag: Sdu.
Bosker, R. (2009). Experimetele designs in onderwijsonderzoek. In: R. Rouw, D. Satijn & T. Schokker, Bewezen beleid in het onderwijs, p. 26-38. Den Haag: Directie Kennis van het Minsterie van OCW.
ECPO (2009). Op weg naar passend onderwijs, advies over de voortgang. Evaluatie en adviescommissie passend onderwijs. Den Haag.
Financiën (2010). Subsidieoverzicht Rijk 2010. Den Haag.
Informateur (2010). Kabinetsformatie 2010. Brief van de informateur aan de Tweede Kamer, d.d. 7 oktober 2010 ter aanbieding van zijn eindverslag alsmede het regeerakkoord van VVD en CDA, het gedoogakkoord van VVD, PVV en CDA en de bijbehorende analyse van het Centraal Planbureau. Tweede Kamer, vergaderjaar 2010-2011, 32 417, nr. 15. Den Haag: Sdu.
Leeuw, F. & J. Vaessen (2009). Evidence based policy in ontwikkelingssamenwerking. In: R. Rouw, D. Satijn & T. Schokker, Bewezen beleid in het onderwijs, p. 110-126. Den Haag: Directie Kennis van het Minsterie van OCW.
Pranger, R. et al. (2009). Stand van zaken koplopers Passend Onderwijs 2008-2009. Tilburg: IVA beleidsonderzoek en advies.
Tweede Kamer (2003). Nota over de toestand van ’s Rijks Financiën. Motie van het lid Van As om alle bestaande subsidies en subsidieregelingen te voorzien van een einddatum in zoverre dat nog niet is gebeurd, vergaderjaar 2003-2004, 29 200, nr. 40. Den Haag: Sdu.
Tweede Kamer (2009). Verbetering verantwoording en begroting. Motie van het lid Weekers om in het in het Instrumentenoverzicht Rijk dat in 2010 verschijnt, een beoordeling op doelmatigheid en doeltreffendheid van de verschillende subsidieregelingen op te nemen. Tweede Kamer, vergaderjaar 2009-2010, 31 865, nr. 14. Den Haag: Sdu.
Van den Dongen, M., M. Gorrée & E. Israël (2010). Wel subsidies, geen evaluaties. TPC, jaargang 8, nummer 4, p. 33-37.
Verstraeten, P. (2007). Een waarborg voor continuïteit. Evaluatie subsidieregeling buitenlandse arthouse films. Amsterdam: Paul Verstraeten Communicatie.
Webbink, H.D. (2010). Van Evidentie naar impact. Oratie 11 februari 2011. Erasmus Universiteit Rotterdam. Rotterdam: ECSP.