Wel subsidies, geen evaluaties

Als een overheid waar voor zijn geld wil leveren en zijn dienstverlening wil verbeteren, dan moet hij leren van successen en fouten uit het verleden. Een basale voorwaarde om te kunnen leren is de beschikbaarheid van relevante informatie over die eigen successen en fouten. Een belangrijke bron van informatie hierover zijn evaluaties over het eigen presteren en functioneren. Het is niet voor niks dat de rijksoverheid in de rijksbegrotingvoorschriften aangeeft dat beleid gericht op de realisatie van de algemene en/ of operationele beleidsdoelstellingen, aansluitend bij de beleidscyclus, periodiek wordt geëvalueerd (Financiën, 2009). De minister van Financiën vindt dat hij als penningmeester van het kabinet belang heeft bij ex post-evaluatieonderzoek, dat een zo goed mogelijk beeld geeft van de doelmatigheid van beleid (Financiën, 2008).

Specifiek voor subsidies wordt het belang van een regelmatige evaluatie benadrukt in de Algemene wet bestuursrecht (Awb). In artikel 4.24 wordt aangegeven: “Indien een subsidie op een wettelijk voorschrift berust, wordt ten minste eenmaal in de vijf jaren een verslag gepubliceerd over de doeltreffendheid en de effecten van de subsidie in de praktijk, tenzij bij wettelijk voorschrift anders is bepaald.” Bovendien heeft de Tweede Kamer in 2003 de motie-Van As (Tweede Kamer, 2003) aangenomen, waarin het kabinet wordt verzocht een einddatum vast te stellen voor alle subsidies en subsidieregelingen waarna deze automatisch stoppen en pas verlengd mogen worden na een evaluatie.

De Nederlandse rijksoverheid en de Tweede Kamer hechten dus veel belang aan het evalueren van subsidies. Hierna beschrijven we of het Rijk deze intentie ook in de praktijk brengt, met andere woorden of ministeries subsidies inderdaad regelmatig evalueren.1 We gaan in op de volgende vragen:

• Heeft het rijk alle subsidieregelingen en subsidies die op 1 januari 2010 langer lopen dan vijf jaar, in het verleden al eens geëvalueerd?
• Zijn voor alle subsidieregelingen en subsidies die vanaf 1 januari 2010 langer zullen doorlopen dan vijf jaar, evaluaties gepland?
• Zijn alle subsidieregelingen en subsidies voorzien van een einddatum?

We ronden ons betoog af met een bespreking van een aantal ons inziens belangrijke leerpunten voor de rijksoverheid als het gaat om het evalueren van subsidies.
Maar eerst beschrijven we in de volgende paragraaf hoe het inzicht in de omvang van de hoeveelheid geld dat de rijksoverheid uitgeeft aan subsidies zich in de loop der tijd ontwikkeld heeft.

Beperkt inzicht
Het lijkt zo simpel om een overzicht op te stellen van alle subsidies van de rijksoverheid. Helaas heeft het kabinet in de loop der jaren verschillende definities gebruikt, waardoor de rijksbrede (subsidie)overzichten onderling vrijwel niet vergelijkbaar zijn en het dus erg moeilijk is om zicht te krijgen op de ontwikkeling van de uitgaven aan subsidies door de tijd heen.

Al sinds 1996 presenteert het rijk op gezette tijden overzichten van de omvang van de uitgaven aan (onder meer) subsidies. Tot en met 2003 verschafte het kabinet de Tweede Kamer jaarlijks een overzicht van subsidies in het Subsidieoverzicht Rijksoverheid (SOR).
In 2003 bedroeg het totaal aan verstrekte subsidies volgens dit overzicht circa € 17,5 miljard.
Het SOR 2003 was onderdeel van het eindrapport van de interdepartementale werkgroep ‘Zicht op Subsidies’, waarin ook subsidies waren opgenomen die tot dan toe buiten de SOR vielen. Verschillende departementen bleken namelijk verschillende definities van het begrip subsidie te hanteren (Werkgroep ‘Zicht op Subsidies’, 2003). Het totaal in 2003 aan deze overige subsidies uitgekeerde bedragen was volgens dit overzicht ruim € 4,7 miljard. In totaal bedroeg het budget voor subsidies in 2003 dus ruim € 22 miljard.

In 2003 besloot het kabinet om het overzicht niet ieder jaar, maar slechts eens per vier jaar op te stellen en aan de Tweede Kamer te presenteren. Het eerstvolgende overzicht dat de Tweede Kamer ontving, was het Instrumentenoverzicht Rijk (IOR) in 2006. Om te voorkomen dat op basis van een te enge afbakening van het begrip subsidies veel uitgaven buiten het overzicht zouden blijven, waren op verzoek van de Tweede Kamer alle geldstromen van het Rijk in kaart gebracht. In feite betrof dit overzicht dus de opgetelde begrotingen van alle ministeries. In 2006 werden 983 instrumenten geteld, samen goed voor circa € 150 miljard. Daarvan was circa € 87 miljard voor subsidies en overdrachten samen, verdeeld over 515 instrumenten (Financiën, 2006). Welk deel daarvan aan subsidies werd besteed, is niet uit de openbare documenten te halen.

Het Subsidieoverzicht Rijk (SOR) 2010 (Financiën, 2010) is het meest recente overzicht in de rij overzichten. Voor het SOR 2010 is uitgegaan van het engere, maar goed afgebakende subsidiebegrip uit de Algemene wet bestuursrecht (Awb). Dat heeft tot gevolg dat het overzicht ‘maar’ € 6,1 miljard omvat en daarmee beperkter is dan ooit. Anderzijds is daardoor nu wel glashelder wat de betekenis is van de getallen in het overzicht.

Wij hebben de analyse naar het evalueren van subsidies, waarvan we de resultaten hieronder presenteren, gebaseerd op het SOR 2010.

De resultaten van het onderzoek

Uitgevoerde evaluaties
Uit het SOR 2010 blijkt dat de rijksoverheid in 2010 633 verschillende subsidies verstrekt met een totaalbudget van € 6,1 miljard.2

Om inzicht te krijgen in de mate waarin subsidies periodiek geëvalueerd worden hebben we in eerste instantie teruggekeken. Als subsidies periodiek geëvalueerd worden, betekent dit dat subsidies die al enige tijd lopen al eens geëvalueerd zouden moeten zijn. Wij hebben ervoor gekozen om ‘periodiek’ in navolging van artikel 4.24 van de Awb te operationaliseren als ‘eens in de vijf jaar’. Daarom hebben we gekeken of subsidies die minstens vijf jaar lopen al eens geëvalueerd zijn.

De meeste subsidies blijken jonger te zijn dan vijf jaar. Slechts 12% van het totale aantal subsidies (13% van het budget in 2010) heeft een begindatum die ligt vóór 1 januari 2005. Deze zijn dus ouder dan vijf jaar. Van deze subsidies blijkt meer dan de helft (7% van het totale aantal subsidies) niet te zijn geëvalueerd (zie tabel 1 en figuur 1). In termen van financieel belang is dit € 439 miljoen.

Tabel 1. Aanwezigheid van evaluatie, uitgesplitst naar begindatum

Figuur 1. Uitgevoerde evaluaties voor subsidies met een begindatum vóór 1 januari 2005 (aantallen en bedragen)

Het overgrote deel van de subsidies (78%; in termen van financieel belang 70%) kent een begindatum die ná 1 januari 2005 ligt. Hoewel deze subsidies korter dan vijf jaar lopen bleek ruim een zesde al wel eens te zijn geëvalueerd volgens opgave in het SOR 2010.

Geplande evaluaties
Een belangrijke voorwaarde voor een lerende organisatie is niet alleen het daadwerkelijk evalueren, maar ook het plannen van evaluaties. Je zult als organisatie immers tijdig capaciteit vrij moeten maken om evaluaties te begeleiden, offertes aan te vragen en te beoordelen en onderzoeken te kunnen betalen. We verwachten daarom dat ministeries, zeker voor langer lopende subsidies een evaluatieplanning hebben opgesteld. ‘Langer lopend’ hebben we geoperationaliseerd met ‘een verwachte looptijd van langer dan vijf jaar’. Van alle subsidies in het SOR 2010 heeft 51% (325) een verwachte looptijd langer dan vijf jaar. Bij een evaluatietermijn van eens in de vijf jaar zou voor deze subsidies een geplande evaluatiedatum verwacht mogen worden. In de praktijk blijkt dat voor 178 van deze 325 subsidies (= 55%) geen evaluatie gepland is (zie figuur 2). In termen van het financieel belang in 2010 is dit € 1,5 miljard.

Figuur 2. Geplande evaluaties voor subsidies met een verwachten looptijd van langer dan vijf jaar (aantallen en bedragen)

Subsidies zonder einddatum
In de hiervoor genoemde motie-Van As, aangenomen in 2003, heeft de Tweede Kamer het kabinet verzocht om alle bestaande subsidies en subsidieregelingen te voorzien van een einddatum. Uit figuur 3 blijkt dat ruim een derde (38%) van de subsidies uit het SOR 2010 niet voorzien is van een einddatum. Daarmee is in 2010 een bedrag gemoeid van € 2,8 miljard, 46% van het totale subsidiebudget in dat jaar. In zijn begroting 2009 (Financiën, 2008) heeft de minister van Financiën aangegeven dat hij de uitvoering van de motie-Van As als afgerond beschouwt. Uit onze analyse blijkt dat dat nog niet het geval is.

Figuur 3. Subsidies met en zonder einddatum (aantallen en bedragen)

We constateren wel dat vanaf het jaar dat de motie-Van As is aangenomen, 2003, het percentage subsidies zonder einddatum duidelijk is afgenomen. Uit figuur 4 blijkt dat het aandeel subsidies zonder einddatum is gedaald van ruim 80% procent bij subsidies gestart vóór 2000 tot gemiddeld circa 20% bij subsidies met een begindatum na 2007.

Figuur 4. Aandeel subsidies zonder einddatum naar startjaar subsidie

Voor 127 van de in totaal 238 subsidies waarvan nog niet is vastgesteld of en wanneer ze zullen eindigen is bovendien ook nog geen evaluatiemoment gepland. Voor deze subsidies is daarmee dus (op dit moment) dubbel niet aan de motie-Van As voldaan: ze hebben geen einddatum en er is geen uitzicht op een evaluatie ervan. Voor deze subsidies bestaat dus het risico dat ze lange tijd kunnen doorlopen, zonder dat er wordt stilgestaan bij de effectiviteit ervan.

Subsidies zonder begindatum
Verder is er een vrij grote groep subsidies waarvan, vreemd genoeg, geen begindatum bekend is. Bij deze groep subsidies ontbreekt bovendien erg vaak, in 86% van de gevallen, een einddatum. Deze subsidies waarvan niet bekend is wanneer ze gestart zijn en wanneer ze zullen eindigen, maken 9% van het totale aantal subsidies uit en vertegenwoordigen samen voor 2010 een budget van € 826 miljoen.

Lessen voor de toekomst
Uit het voorgaande blijkt dat de overheid in veel gevallen niet de informatie verzamelt die nodig is om te kunnen leren van het subsidieinstrument. Meer dan de helft van de subsidies die voor 1 januari 2005 zijn gestart, zijn vijf jaar later nog niet geëvalueerd. Ook is er voor meer dan de helft van de subsidies die naar verwachting nog minstens vijf jaar doorlopen, nog geen evaluatie gepland. Door elke subsidie van een einddatum te voorzien en pas voort te zetten na een uitdrukkelijk besluit daartoe, gebaseerd op een uitgevoerde evaluatie, kan het lerend vermogen en de effectiviteit van de overheid vergroot worden.
De Tweede Kamer heeft in 2003 de motie-Van As aangenomen met deze strekking. Toch blijkt in 2010 maar liefst een derde van de subsidies geen einddatum te hebben, en voor de helft daarvan geldt dat er ook geen evaluatie gepland is. Tot slot weten de ministeries zelf merkwaardig genoeg van bijna een tiende van de subsidies niet wanneer deze zijn begonnen.

Dit laat ten eerste zien dat de bedrijfsvoering van de overheid gericht op subsidies tekortschiet. Maar minstens zo belangrijk is dat dit betekent dat de overheid zich een belangrijke kans ontneemt om te kunnen leren over de effectiviteit van haar beleid en om kansen te creëren om dit deel van de rijksuitgaven zo effectief mogelijk te laten zijn. Een bewuste keuze voor overheidsuitgaven aan subsidies, gebaseerd op kennis over de effectiviteit van die uitgaven, is natuurlijk veel beter dan een (on)bewuste, impliciete keuze ze na de start ongemerkt en onbeperkt te laten doorlopen. Juist in een tijd waarin fors op de overheidsuitgaven bezuinigd moet worden, lijkt het ons onverantwoord om langdurig geld uit te geven zonder de intentie om dit te evalueren op doelmatigheid en doeltreffendheid.

Hoe nu verder?
Het Subsidie Overzicht Rijk 2010 is naar onze mening een goed beginpunt. Door dit overzicht regelmatig uit te brengen, wordt in ieder geval duidelijk wat de stand van zaken is over subsidies. Een groot pluspunt van het huidige overzicht is het gebruik van een heldere definitie van subsidies, namelijk de definitie zoals die in de Awb staat. De minister van Financiën zou daarom moeten doorgaan met het regelmatig uitbrengen van het SOR. Maar naar onze mening mag dat wel wat vaker dan de huidige frequentie van eens in de vier jaar. Ongeveer de helft van de subsidies blijkt namelijk korter dan vijf jaar te lopen en daarmee is de informatie in het SOR snel achterhaald. Veel subsidieregelingen zijn niet terug te vinden in de departementale begrotingen. Door de lage frequentie van het SOR is het nu dus mogelijk dat de Tweede Kamer nooit weet krijgt van allerlei kortlopende subsidies die tussen twee subsidieoverzichten in starten en weer verdwijnen.
In reactie op het eerder genoemde onderzoek van de Algemene Rekenkamer (Algemene Rekenkamer, 2010) heeft de minister toegezegd te gaan onderzoeken of een hogere frequentie mogelijk is.

Vanaf het volgende SOR zou wat ons betreft ook een duidelijke evaluatieplanning opgenomen moeten zijn. Het basisprincipe moet zijn dat subsidie-evaluaties altijd en tijdig gepland worden, zodat de informatie over effectiviteit die nodig is om een subsidie bij te sturen of stop te zetten, ook tijdig beschikbaar is. In feite is dat ook de basisgedachte achter de motie-Van As over een einddatum voor alle subsidies. Bovendien kan een dergelijke planning helpen bij het naleven van de vijfjaarstermijn die in de Awb is bepaald voor subsidie-evaluaties. We kunnen ons echter voorstellen dat een minister soms van mening is dat het niet zinvol of haalbaar is een subsidie te evalueren. In dat geval zou in het SOR, volgens het principe pas-toe-of-leg-uit (‘comply or explain’), die uitzonderingspositie toegelicht moeten worden, zodat de Tweede Kamer open en bloot kennis kan nemen van deze afweging en van de motivatie van de minister.
De minister van Financiën heeft in reactie op het eerder genoemde rapport van de Algemene Rekenkamer geen klip-en-klaar antwoord gegeven, waaruit is op te maken of hij vanaf het volgende SOR een evaluatieplanning gaat opnemen.

Hoewel het begrip ‘subsidie’ duidelijk omschreven is, ontbeert het SOR een duidelijke definitie van wat een evaluatie is. Als je kijkt naar de gegevens in het SOR 2010 dan valt op dat ministeries daaraan een verschillende invulling lijken te geven. Zo worden ook jaarverslagen en activiteitenverslagen van de gesubsidieerde instellingen zelf als evaluaties van de subsidieregeling opgevoerd. Hieraan zijn twee risico’s verbonden. Allereerst lijkt deze constructie erop dat de slager zijn eigen vlees moet keuren.
Bovendien kunnen de afzonderlijke activiteitenverslagen van subsidieontvangers per definitie niets zeggen over de effectiviteit van de subsidieregeling als geheel. De Algemene Rekenkamer is inmiddels een vervolgonderzoek naar subsidies gestart, waarin de kwaliteit van de subsidie-evaluaties uit het SOR zal worden getoetst: zijn de opgegeven evaluaties ook daadwerkelijk effectevaluaties en zo ja, wat is de kwaliteit daarvan?

Het laatste punt waarvoor we aandacht willen vragen, is de relatie tussen beleidsdoorlichtingen en subsidie-evaluaties. Beleidsdoorlichtingen zijn eva luaties van het in de begroting opgenomen beleid en bevatten onder meer een beschrijving en analyse van het probleem dat aanleiding was voor het beleid, een beschrijving van de onderzochte beleidsdoelstellingen, een beschrijving van de gehanteerde instrumenten en een analyse van de maatschappelijke effecten daarvan. Beleidsdoorlichtingen zijn evaluaties op het niveau van beleidsterreinen en niet op instrumentniveau, een beleidsdoorlichting heeft hierdoor het karakter van een synthese. Het is een relatief nieuw instrument dat in 2006 is ingevoerd, onder meer omdat gebleken was dat veel instrumentevaluaties niet over de effecten gingen en vaak maar over een deel van het proces. Het synthesekarakter van de doorlichtingen zou voor deze problemen een oplossing moeten vormen.
Volgens de minister van Financiën hoeven subsidies niet apart geëvalueerd te worden zolang het beleidsterrein zelf periodiek met zo’n beleidsdoorlichting wordt doorgelicht. Dit argument heeft ons niet kunnen overtuigen. Niet omdat er een expliciete evaluatieplicht voor subsidies met een wettelijke grondslag is opgenomen in de Awb. Maar ook niet omdat we van beleidsdoorlichtingen van beleidsterreinen, waaronder belastinguitgaven en specifieke uitkeringen vallen, weten dat er geen informatie over de effectiviteit van de betreffende belastinguitgaven en specifieke uitkeringen in vermeld werd (Algemene Rekenkamer, 2010). Wij verwachten dat dit voor afzonderlijke subsidies niet veel anders zal zijn.

Uit het voorgaande leiden wij af dat er voor de penningmeester van het kabinet, de minister van Financiën, en voor de afzonderlijke vakministers op het terrein van subsidies nog heel wat werk aan de winkel is. We realiseren ons dat de aanwezigheid van effectevaluaties niets meer is dan een belangrijke voorwaarde voor de overheid om te kunnen leren. Zonder adequate informatie lukt leren niet. Maar de aanwezigheid van informatie is nog geen garantie voor leren. Kerseboom (2008) concludeert dat niet altijd de juiste informatie wordt verzameld en dat het gebruik van de wél beschikbare informatie voor en over het presteren van het Rijk bij de onderbouwing van nieuw beleid of de bijstelling van lopend beleid nog veel te wensen overlaat. Daarom zal in het eerder genoemde vervolgonderzoek van de Algemene Rekenkamer niet alleen gekeken worden naar de kwaliteit van de evaluaties, maar ook naar het gebruik hiervan bij een eventuele bijstelling van het beleid.

De auteurs, mw. drs. M.E. van den Dongen, mw. drs. M. Gorrée en drs. F.J. Israël, zijn allen werkzaam bij de Algemene Rekenkamer. Zij schreven dit artikel op persoonlijke titel.

Noten
1 De resultaten hierna zijn gebaseerd op (Algemene Rekenkamer, 2010). Het ruwe datamateriaal dat gebruikt is voor de berekeningen is afkomstig uit het Subsidieoverzicht Rijk (SOR) 2010 (Financiën, 2010).
2 In de samenvattende overzichten van het SOR 2010 vermeldt het ministerie van Financiën 620 subsidies. Het verschil wordt veroorzaakt doordat het ministerie ervoor gekozen heeft om de 14 subsidies die vallen onder de subsidieregeling VWS als één subsidie samen te nemen, waar wij ze apart tellen.

Literatuur

• Algemene Rekenkamer (2010). Inzicht in belastinguitgaven, specifieke uitkeringen en subsidies. Den Haag: Sdu.
• Financiën (2006). Brief van de minister van Financiën over de managementsamenvatting van het Instrumentenoverzicht Rijk (IOR). Tweede Kamer, vergaderjaar 2005–2006, 30 300 IXB, nr. 27. Den Haag: Sdu.
• Financiën (2008). Brief van de minister van Financiën. Evaluatie-instrument beleidsdoorlichting. Tweede Kamer, vergaderjaar 2008–2009, 31 308, nr. 5. Den Haag: Sdu.
• Financiën (2009). Regeling Rijksbegrotingsvoorschriften. Staatscourant, nr.15952. Den Haag.
• Financiën (2010). Subsidieoverzicht Rijk 2010. Den Haag.
• Kerseboom, J. (2008). Leren van evalueren; over het niet-gebruik van informatie Bestuurskunde, jaargang nummer 2008/2. p. 41-46.
• Tweede Kamer (2003). Nota over de toestand van ’s Rijks Financiën. Motie van het lid Van As Tweede Kamer om alle bestaande subsidies en subsidieregelingen te voorzien van een einddatum in zoverre dat nog niet is gebeurd, vergaderjaar 2003-2004, 29 200, nr. 40. Den Haag: Sdu.
• Werkgroep ‘Zicht op Subsidies’ (2003). Zicht op Subsidies, eindrapport van de interdepartementale werkgroep ‘Zicht op Subsidies’. Den Haag.