Hoe doeltreffend zijn subsidies?

De laatste jaren is er veel aandacht voor subsidies en subsidieverstrekking. Uit onderzoek blijkt echter dat onvoldoende aantoonbaar gemaakt kan worden dat het subsidiebeleid doeltreffend is. Dit komt onder andere doordat veel subsidies niet worden geëvalueerd. Daarnaast kunnen in wel uitgevoerde evaluaties niet altijd uitspraken over de doeltreffendheid worden gedaan. Aanleiding voor de Randstedelijke Rekenkamer om de provinciale subsidies te onderzoeken.

Inleiding
Het is niet direct zichtbaar, maar veel activiteiten komen tot stand dankzij subsidies. Met het verstrekken van geld willen provincies doelen op verschillende beleidsterreinen bereiken. Voorbeelden van dergelijke doelen zijn het vergroten van de toeristische bestedingen, het verbeteren van de luchtkwaliteit, het verminderen van het aantal files en het verhogen van de sociale kwaliteit.

De afgelopen jaren is er veel aandacht voor subsidies en subsidieverstrekking. Door onder andere kerntakendiscussies en kortingen op het provinciefonds besluiten provincies om subsidies (aan bijvoorbeeld culturele instellingen) te korten of te beëindigen. Daarnaast is er meer behoefte om zicht en grip te krijgen op de prestaties (output) en effecten van de subsidies, zo blijkt uit rekenkameronderzoeken naar subsidies.1 Veel van deze onderzoeken komen tot de conclusie dat onvoldoende aantoonbaar gemaakt kan worden dat het subsidiebeleid doeltreffend is. Dit komt onder andere doordat veel subsidies niet worden geëvalueerd. Daarnaast kunnen in wel uitgevoerde evaluaties niet altijd uitspraken over de doeltreffendheid worden gedaan. Dit is voor de Randstedelijke Rekenkamer aanleiding geweest om de provinciale subsidies te onderzoeken.

Bij de Randstedelijke provincies worden jaarlijks enkele honderden miljoenen euro’s per provincie als subsidie verstrekt (zie figuur 1).

Figuur 1. Omvang subsidies per provincie

De financiële omvang van de subsidies in de Randstedelijke provincies bedraagt in totaal d 1,1 miljard in 2011. Absoluut gezien is de omvang het grootst bij de provincie Zuid-Holland (€ 429 mln.) en het kleinst bij de provincie Flevoland (€ 116 mln.). Relatief gezien is de omvang van de subsidies van de provincie Noord-Holland het kleinst met 40% ten opzichte van de begrotingsomvang en is de omvang van de subsidies van de provincie Flevoland het grootst met 53%.

Provincies zijn niet altijd vrij om te bepalen of ze een subsidieregeling wel of niet uitvoeren. Zo heeft een groot deel van de subsidieomvang van de provincies betrekking op wettelijke taken, zoals jeugdzorg, waarvoor de provincies middelen van het rijk ontvangen. Niettemin geldt voor alle subsidies dat het van belang is om periodiek na te gaan of de middelen goed terechtkomen en of de beleidsdoelen zijn bereikt. Daarom zal de provincie haar subsidies moeten evalueren. Hierbij geldt ook dat het evalueren van subsidies niet vrijblijvend is. Voor sommige soorten subsidies geldt namelijk een wettelijke verplichting in de Algemene wet bestuursrecht (Awb) om deze ten minste eens per vijf jaar te evalueren. De Randstedelijke Rekenkamer vindt het wenselijk dat elke subsidie die vijf jaar of langer bestaat, geëvalueerd wordt. Op basis van de uitkomsten van een dergelijke evaluatie kan vervolgens een afweging worden gemaakt voor het continueren, aanpassen of stopzetten van een subsidie.

Figuur 2. Aantal geëvalueerde subsidies per provincie

Weinig inzicht in doeltreffendheid subsidies
Uit ons onderzoek is gebleken dat de Randstedelijke provincies weinig inzicht hebben in de doeltreffendheid van hun subsidies. Dit komt ten eerste door het feit dat drie van de vier provincies geen volledig overzicht van hun subsidies hadden. Daarnaast werd in geen enkele provincie goed bijgehouden of subsidies wel of niet geëvalueerd waren.

Van het aantal subsidies dat (conform de Awb) geëvalueerd had moeten zijn of waarvan dit (volgens de Rekenkamer) wenselijk is, heeft de provincie Utrecht 59% geëvalueerd. In de andere provincies liggen de percentages lager, namelijk 25% in Flevoland, 27% in Noord-Holland en 19% in Zuid-Holland.

Wanneer vervolgens naar de kwaliteit van de evaluaties wordt gekeken, dan blijkt dat deze in vrijwel elke provincie beperkt is. Idealiter zou in de evaluatie aandacht moeten worden besteed aan de middelen die de provincie heeft verstrekt, de activiteiten die de subsidieontvangers hebben uitgevoerd, de prestatie die hiermee is behaald en of het beleidsdoel van de provincie is bereikt. Vervolgens dient aannemelijk te zijn gemaakt dat het doel is bereikt door het uitvoeren van de subsidie. Dit kan geïllustreerd worden aan de hand van figuur 3, dat een vereenvoudigde weergave van de werking van een subsidie is.

Figuur 3. Schematische weergave subsidie

De provincie stelt bijvoorbeeld middelen ter beschikking aan woningeigenaren voor het isoleren van hun woning en verwacht dat dit zal leiden tot een groter aantal woningen in de provincie dat is geïsoleerd. Vervolgens gaat de provincie ervan uit dat dit aantal geïsoleerde woningen zal bijdragen aan het beleidsdoel om te komen tot energiebesparing in de provincie.

In de evaluaties van de provincies wordt voornamelijk de aandacht gericht op de uitgevoerde activiteiten door de subsidieontvangers en de prestaties die hiermee behaald zijn. Op evaluaties van vijf subsidies van de provincie Zuid-Holland na, is er geen aandacht voor doelbereiking en doeltreffendheid van de subsidies. Hierdoor weten de provincies voor vrijwel geen enkele subsidie of de beoogde beleidsdoelen zijn bereikt en is vervolgens ook niet duidelijk in hoeverre de subsidie heeft bijgedragen aan het bereiken van het doel. Een aannemelijk inzicht in de doeltreffendheid van de subsidies ontbreekt dus.

Gezien het financiële belang dat met subsidies gemoeid is en een provinciaal beleid dat gericht zou moeten zijn op de realisatie van doelen, vinden we het belangrijk dat de provincies meer aandacht vestigen op het goed evalueren van hun subsidies. Dit hebben de vier Randstedelijke provincies onderschreven in hun reacties op het eerste deel van het onderzoek van de Randstedelijke Rekenkamer (maart 2012).

Stappen om doeltreffendheid van subsidies te evalueren
Om de provincies te ondersteunen bij het vergroten van de kwaliteit van hun evaluaties, hebben we vervolgens vier provinciale subsidies geëvalueerd. Voor het evalueren van deze subsidies hebben we zes stappen ontwikkeld op basis waarvan aannemelijk inzicht kan worden verkregen in de doeltreffendheid van de subsidie:
Stap 1: Beleidskader reconstrueren
Stap 2: Beschikte middelen onderzoeken
Stap 3: Uitgevoerde activiteiten onderzoeken
Stap 4: Behaalde prestaties onderzoeken
Stap 5: Mate van doelbereiking onderzoeken
Stap 6: Mate van doeltreffendheid beoordelen

De stappen zijn hieronder nader uitgewerkt, waarbij de uitkomsten van de subsidie Tijdsordening van de provincie Utrecht ter illustratie dienen. Daarnaast zijn in kaders de belangrijkste uitkomsten van de andere drie geëvalueerde subsidies beschreven.

Stap 1: Beleidskader reconstrueren
Deze stap geeft inzicht in de verwachtingen die de provincie bij aanvang van een subsidie had. Het inzichtelijk maken van de vooraf veronderstelde werking van een subsidie (oftewel de opzet) maakt het mogelijk die te vergelijken met de achteraf geconstateerde werking. Een veronderstelde werking kan beargumenteerd worden met wettelijke taken, wetenschappelijk onderzoek of beleidsaannames. Een goede reconstructie laat nut en noodzaak, beleidstheorie, beoogde doelen, prestaties, activiteiten en beschikbare middelen van de subsidie zien.

Voorbeeld subsidie Tijdsordening van de provincie Utrecht: Organisaties kunnen subsidie aanvragen voor het aanschaffen van voorzieningen om telewerken en/ of flexwerken van de medewerkers mogelijk te maken (activiteiten). De subsidie is gericht op het stimuleren van organisaties om hun medewerkers buiten de spits te laten reizen (3.000 is de beoogde prestatie), zodat wordt bijgedragen aan een vermindering van het autoverkeer tijdens de spits in de provincie Utrecht (beoogd doel is 5% reductie). Nut en noodzaak van de subsidie is gelegen in de verminderde bereikbaarheid van de provincie Utrecht, wat is onderbouwd door een uitgebreide netwerkanalyse. De subsidieregeling maakt onderdeel uit van een breed pakket aan maatregelen om de bereikbaarheid te verbeteren. De beoogde prestatie is niet specifiek, meetbaar en tijdgebonden geformuleerd (er zijn bijvoorbeeld geen spitstijden gemeld) en daarom is de opzet als redelijk beoordeeld door de Randstedelijke Rekenkamer. Zie ook ‘opzet’ in figuur 4.

Figuur 4. Opzet en werking subsidie Tijdsordening

Stap 2: Beschikte middelen onderzoeken
Deze stap geeft inzicht in de mate waarin het subsidieplafond is bereikt en geeft de verhouding tussen toegekende en vastgestelde subsidies weer. Een dergelijke analyse kan een indicatie geven voor de doeltreffendheid van een subsidie. Als er namelijk weinig subsidies zijn aangevraagd en weinig middelen zijn verstrekt, dan duidt dit erop dat de doelgroep niet wordt bereikt. Daarbij kunnen ook de uitvoeringskosten voor de provincie én de administratieve lasten voor de subsidieaanvragers in beeld worden gebracht voor het beoordelen van de doelmatigheid van de subsidie.

Voorbeeld subsidie Tijdsordening van de provincie Utrecht: De subsidieregeling zou naar verwachting 2 jaar bestaan. Na anderhalf jaar is slechts € 156.950 (6%) van de beschikbare € 2.850.000 toegekend aan in totaal vijf organisaties. Dit duidt erop dat de doelgroep vrijwel niet wordt bereikt. De gerealiseerde uitvoeringskosten zijn (nog) onbekend.

Stap 3: Uitgevoerde activiteiten onderzoeken
Deze stap geeft inzicht in de mate waarin beoogde activiteiten daadwerkelijk door subsidieontvangers zijn uitgevoerd. Hiervoor zal informatie moeten worden verzameld bij de subsidieontvangers over de activiteiten die ze hebben uitgevoerd met de subsidiemiddelen. Daarbij kunnen subsidieontvangers aangeven hoe de uitvoering van een subsidieregeling in de praktijk verloopt en welke knelpunten zich voordoen. Aandachtspunt is of in de praktijk een andere invulling is gegeven aan de activiteiten dan vooraf aangegeven. Als er grote afwijkingen zijn tussen de beoogde en uitgevoerde activiteiten, dan is het raadzaam om dit te verklaren, zodat kan worden bijgestuurd.

Voorbeeld subsidie Tijdsordening van de provincie Utrecht: Er zijn na anderhalf jaar weinig activiteiten uitgevoerd, omdat het aantal aanvragen beperkt is en de meeste subsidieontvangers nog bezig zijn met het uitvoeren van de tijdsordeningsmaatregelen.

Stap 4: Behaalde prestaties onderzoeken
De behaalde prestatie is idealiter de optelsom van alle gesubsidieerde en gerealiseerde activiteiten. Wanneer de activiteiten erg divers zijn, kunnen ze moeilijk in een eenduidige prestatie worden samengevat. Bij deze stap moeten gegevens verzameld worden over de prestatie (inclusief indicatoren) die is behaald met de beschikte subsidies uit bijvoorbeeld informatiesystemen, monitoringrapportages en dergelijke. Vervolgens is het belangrijk om de beoogde prestatie te vergelijken met de behaalde prestatie. Ook is hierbij van belang dat afwijkingen worden verklaard, om de beïnvloedingsmogelijkheden van de provincie vast te kunnen stellen.

Voorbeeld subsidie Tijdsordening van de provincie Utrecht: Het aantal personen dat structureel 2 dagen per week niet of buiten de spits reist door de subsidie blijft achter bij het beoogde aantal van 3.000. Het aantal personen waarvoor subsidie is verstrekt bedraagt ongeveer 550.

Stap 5: Mate van doelbereiking onderzoeken
Voor deze stap moet informatie verzameld worden over het doel van de subsidie. Dit kan informatie zijn die binnen de provincie aanwezig is, zoals jaarverslagen, monitorrapportages, onderzoeksrapporten et cetera. Daarnaast kunnen externe bronnen geraadpleegd worden, zoals het CBS, planbureaus als SCP, PBL, wetenschappelijke instituten, kenniscentra, koepelorganisaties als IPO en VNG, en sectorale brancheorganisaties als ANWB, NBTC, MKB-Nederland. Indien er onvoldoende gegevens beschikbaar zijn om de doelbereiking vast te kunnen stellen, kunnen alsnog meetgegevens verzameld worden, interviews met experts worden gehouden of enquêtes worden uitgezet. Hiervoor is het wel belangrijk om een afweging te maken tussen de kosten in tijd en geld en het te verwachten inzicht. Als er voldoende informatie over het bereikte doel aanwezig is, dan zal een vergelijking moeten worden gemaakt met het beoogde doel. Idealiter gebeurt dit door na te gaan in hoeverre de streefwaarden van de doelen en/of indicatoren zijn gerealiseerd. Ook hierbij geldt dat eventuele afwijkingen moeten worden verklaard, zodat de provincie kan bijsturen.

Voorbeeld subsidie Tijdsordening van de provincie Utrecht: Het beoogde doel is een structurele reductie van 5% van het verkeer van personenauto’s in de regio Utrecht in de spits. Het is onbekend of dit doel is bereikt, omdat de provincie geen vervolgmeting heeft gedaan naar aanleiding van een nulmeting uit 2009. Gezien landelijke en regionale ontwikkelingen op het gebied van mobiliteit en bereikbaarheid en de trend van dalende files lijkt het doel bereikt te worden.

Stap 6: Mate van doeltreffendheid beoordelen
Het moet duidelijk worden of de subsidie voor de ontvangers noodzakelijk is geweest voor het uitvoeren van de activiteiten. Als subsidieontvangers de activiteiten ook zonder subsidie zouden hebben uitgevoerd, dan duidt dit op het niet doeltreffend zijn van de subsidie. Een methodologisch probleem is het risico van sociaal wenselijke antwoorden. Om dit risico op te vangen is het raadzaam ook voor afgewezen aanvragen na te gaan, wat aanvragers hebben gedaan na afwijzing van de aanvraag. Daarnaast is het belangrijk om na te gaan in hoeverre de behaalde prestaties een bijdrage hebben geleverd aan de doelbereiking. Hierbij moet rekening worden gehouden met de invloed van externe factoren en van andere beleidsmaatregelen. Op basis van beleidsanalyse en interviews met betrokkenen kunnen uitspraken worden gedaan over het verband tussen de activiteiten en prestaties. Bij een goed werkende subsidie is het aannemelijk dat door het uitvoeren van de activiteiten, de prestaties geleverd zijn en dat de prestaties een bijdrage hebben geleverd aan het bereiken van de doelen. Als een controlegroep is ingesteld, kan hiermee een vergelijking worden gemaakt.

Het uiteindelijk doel van het doorlopen van de stappen is het komen tot een heldere conclusie over de doeltreffendheid van de subsidie. Hierbij is het van belang dat de conclusie onderbouwd is met valide en betrouwbare bevindingen en dat mogelijke onzekerheden zijn aangegeven.

Voorbeeld subsidie Tijdsordening van de provincie Utrecht: Het is aannemelijk dat de subsidie nauwelijks doeltreffend is. In veel gevallen is de subsidie niet noodzakelijk voor het uitvoeren van tijdsordeningsmaatregelen, omdat subsidieontvangers ook zonder de subsidie de maatregelen hadden uitgevoerd. De subsidie heeft er zodoende toe geleid dat naar verwachting slechts 17 personen twee dagen per week buiten de spits zijn gaan reizen in plaats van de gewenste 3.000. Dat het doel om het aantal auto’s in de spits met 5% te reduceren in 2012 daarentegen toch bereikt lijkt te worden, komt echter door andere ontwikkelingen, zoals de economische crisis en mogelijk het project Spitsvrij dat ook tot doel had om het aantal automobilisten tijdens de spits te reduceren. Dit project heeft, in tegenstelling tot de subsidie Tijdsordening, wel het beoogde aantal automobilisten bereikt.

Een hulpmiddel bij het formuleren van de conclusie over de doeltreffendheid van de subsidie, is het figuurlijk in beeld brengen van de middelen, activiteiten, prestaties en doelen. In figuur 4 is dit voor de subsidie Tijdsordening van de provincie Utrecht gedaan. Hierin is een onderscheid gemaakt tussen enerzijds de opzet van de subsidieregeling (stap 1) en anderzijds de werking (stap 2 t/m 6) ervan. Met groen wordt een neutraal dan wel positief oordeel uitgedrukt, roze duidt op een kritische beoordeling en grijs geeft aan dat het oordeel onbekend is.

Een handreiking als resultaat
De uitkomsten van de vier gevalstudies hebben geleid tot een handreiking, waarin de zes stappen zijn uitgewerkt en geïllustreerd met voorbeelden uit de vier gevalstudies. De zes stappen uit de handreiking vormen het kader voor het inzichtelijk maken van de doelbereiking en doeltreffendheid van subsidies, omdat dit vaak nog onderbelicht blijft in evaluaties. In de handreiking is niet expliciet de aandacht gevestigd op mogelijke onderzoeksmethodieken. Afhankelijk van het soort subsidie zal een afweging moeten worden gemaakt wat de beste methodiek is om de zes stappen te doorlopen en een antwoord te krijgen of de subsidie doeltreffend is. Zo zal, afhankelijk van het aantal subsidieontvangers, een keuze moeten worden gemaakt voor een enquête (bij veel subsidieontvangers) of voor diepte-interviews (bij enkele subsidieontvangers). De handreiking en de vier onderzoeksrapporten zijn te vinden op www.randstedelijke-rekenkamer.nl.

Terugblikkend op de uitkomsten van de vier onderzochte subsidies voor wat betreft hun doeltreffendheid, zijn verschillende afbreukrisico’s voor de doeltreffendheid van subsidies te noemen. Allereerst het risico dat veel subsidies in opzet al moeilijk op doeltreffendheid zijn te beoordelen. Dit is het gevolg van het hanteren van algemene én ambitieuze doelen en een grote afstand en gebrekkige samenhang tussen dergelijke doelen en de concreet gesubsidieerde activiteiten en daarmee te bereiken prestatie. Dit kan zowel het geval zijn voor een subsidieregeling (bijvoorbeeld Vrije Tijd Zuid-Holland of Verbetering Luchtkwaliteit Noord-Holland) als voor een subsidie aan een instelling (zoals CMO Flevoland). Vervolgens is het niet bereiken van de doelgroep en een achterblijvende besteding van het beschikbare budget (subsidieplafond) een belangrijk afbreukrisico voor doeltreffendheid. Dit heeft onder meer de subsidie Tijdsordening parten gespeeld. Daarnaast is een risico voor de provincie dat ook bij volledige benutting van het beschikbare budget de bijdrage van de gerealiseerde activiteiten en prestaties aan het beoogde doel erg bescheiden kan zijn. Dit is bijvoorbeeld gebleken bij de subsidies Luchtkwaliteit en Vrije Tijd. Een betere inschatting vooraf van de mogelijke bijdrage van de subsidie aan het te bereiken doel zou de verwachtingen over het belang van de subsidie hebben kunnen temperen en had wellicht zelfs kunnen leiden tot het afzien van het instellen van dergelijke subsidies. Onze bevindingen bij de vier gevalstudies laten zich niet alleen lezen als een pleidooi voor meer evaluaties achteraf (ex post) om de doeltreffendheid van subsidies vast te stellen, maar benadrukken evenzeer de wenselijkheid van een gedegen voorbereiding bij het instellen van subsidies (onderbouwing, SMART-doelen etc.) en het zo nodig vooraf uitvoeren van onderzoek (ex ante) naar nut, noodzaak en veronderstelde werking van subsidies.

Ten slotte
In reactie op de uitkomsten van het onderzoek zijn en worden in alle vier provincies stappen gezet om het inzicht in de doeltreffendheid van subsidies te (gaan) verbeteren en evaluaties van subsidies systematischer aan te pakken. Zo heeft de provincie Zuid-Holland in 2012 een intern traject uitgevoerd om tot een inschatting van de doeltreffendheid van subsidies in bredere zin te komen, vooruitlopend op meer systematische evaluaties de komende jaren.2 Dat geldt ook voor de provincie Noord-Holland, die een zogenoemd evaluatiekader heeft opgesteld en eveneens voornemens is beduidend meer subsidies daadwerkelijk op doeltreffendheid te gaan evalueren.3

Ook bij andere provinciale rekenkamers (Rekenkamer Oost-Nederland4 en de Zuidelijke Rekenkamer5) worden momenteel vergelijkbare onderzoeken gedaan naar de doeltreffendheid van subsidies. Nadat in 2011 de Algemene Rekenkamer6 en verschillende lokale rekenkamers7 onderzoek hebben gepubliceerd over de doeltreffendheid van subsidies en het evalueren daarvan, ontstaat naar onze verwachting nu ook bij de provincies een groeiend inzicht in de doeltreffendheid van subsidies. Wij juichen het toe dat daarbij niet alleen rekenkamers aan zet zijn, maar dat ook provincies het belang hiervan onderkennen door zelf meer aandacht te schenken aan evaluaties.

Drs. Steven van Oostveen, Maarten Franken Msc., Loes van den Broek Msc. (onderzoekers) en dr. Gerth Molenaar (directielid) zijn werkzaam bij de Randstedelijke Rekenkamer.

Noten
1 Zie voor een overzicht aan rapporten hierover bijvoorbeeld de websites van de Nederlandse Vereniging van Rekenkamers en Rekenkamercommissies (NVRR) (www.nvrr.nl) en van onderzoeksbureau Necker van Naem (www.delokalerekenkamer.nl).
2 Provincie Zuid-Holland (september 2012), Quick scan doeltreffendheid subsidieregelingen. Besproken in Statencommissie Bestuur en Middelen. d.d. 24 oktober 2012.
3 Provincie Noord-Holland (augustus 2012), Concept evaluatiekader subsidies. Besproken in Statencommissie WEB d.d. 1 oktober 2012. Naar verwachting zal de definitieve versie in januari 2013 door PS behandeld worden.
4 Rekenkamer Oost-Nederland (september 2012), De effectiviteit van provinciale subsidies – onderzoeksplan.
5 Zuidelijke Rekenkamer (juni 2012), Inzicht in effectiviteit subsidies provincie Limburg – startnotitie.
6 Algemene Rekenkamer (oktober 2011), Leren van subsidie-evaluaties en Handreiking effectevaluaties subsidies.
7 O.a. Rekenkamer Den Haag (december 2011), Van uitgaven naar uitkomsten.

Literatuur

• Randstedelijke Rekenkamer (maart 2012), Inzicht in doeltreffendheid van subsidies.
• Randstedelijke Rekenkamer (oktober 2012), Gevalstudie doeltreffendheid subsidie CMO Flevoland.
• Randstedelijke Rekenkamer (oktober 2012), Gevalstudie doeltreffendheid subsidie Luchtkwaliteit.
• Randstedelijke Rekenkamer (oktober 2012), Gevalstudie doeltreffendheid subsidie Tijdsordening.
• Randstedelijke Rekenkamer (oktober 2012), Gevalstudie doeltreffendheid subsidie Vrije Tijd.
• Randstedelijke Rekenkamer (oktober 2012), Handreiking evaluatie doeltreffendheid provinciale subsidies.