Het beperkte gebruik van beleidsdoorlichtingen

Samenvatting

De potentie van beleidsdoorlichtingen om beleid te verbeteren wordt in de praktijk nauwelijks gerealiseerd. Er worden weinig Kamervragen over gesteld en ministeries gebruiken beleidsdoorlichtingen maar mondjesmaat bij het formuleren van nieuw beleid. De oplossing ligt in (1) een betere inhoud door tijdig en systematisch afzonderlijke maatregelen te evalueren op basis van concrete doelen, (2) een betere timing door het beleid in de aanloop naar een nieuw Regeerakkoord door te lichten, en (3) minder nadruk op bezuinigen en meer op toekomstig beleid. Pas dan kunnen politici en ambtenaren de doorlichtingen direct meewegen in hun keuzes.

Informatie over effecten van beleid is belangrijk voor het functioneren van onze maatschappij. Met deze informatie kunnen het parlement, de media en geïnteresseerde burgers en bedrijven de regering beter volgen en controleren. Ook binnen ministeries is zulke informatie belangrijk om uitgaven te verantwoorden en om beleid te kunnen verbeteren.

1. Inleiding

Het Ministerie van Financiën voert de operatie Inzicht in Kwaliteit uit om te zorgen dat meer kennis ontstaat over de impact van beleid. Het doel is om de maatschappelijke toegevoegde waarde van publiek geld te vergroten (Financiën 2018a). Om dat doel te bereiken is het niet alleen nodig dat goede informatie beschikbaar is, maar ook dat beschikbare informatie wordt gebruikt.

Beleidsdoorlichtingen vormen – in theorie – een belangrijk onderdeel van de informatie over beleidseffecten. Ze hebben als doel om de doeltreffendheid (effectiviteit) en doelmatigheid (efficiëntie) van alle uitgaven op een begrotingsartikel in beeld te brengen. Een begrotingsartikel bevat doorgaans vele tientallen beleidsmaatregelen op een bepaald beleidsterrein, zoals subsidies, uitkeringen of investeringen. Een voorbeeld is artikel 14 Wegen en Verkeersveiligheid, waar alle investeringen in rijkswegen onder vallen; dit zijn meer dan veertig lopende projecten (IenW 2018, p. 30). Beschikbare evaluaties van die afzonderlijke maatregelen worden in de beleidsdoorlichting gebruikt om een totaalbeeld te schetsen. En in het ideale geval doen ministeries, de Tweede Kamer en anderen vervolgens hun voordeel met deze informatie.

In dit artikel beschrijven we het gebruik van beleidsdoorlichtingen. Wat doen ministeries en de Tweede Kamer er wel en niet mee, en waarom? En wat is de invloed van de regels die gelden voor beleids¬doorlichtingen (Financiën 2014, 2018b)? Het artikel is gebaseerd op onderzoek van SEO Economisch Onderzoek in opdracht van het Ministerie van Financiën (Koopmans e.a. 2018), ten behoeve van de operatie Inzicht in Kwaliteit. In dit onderzoek is een grote steekproef van beleidsdoorlichtingen geanalyseerd, en zijn interviews uitgevoerd met betrokkenen bij de doorlichtingen. De kwaliteit van de doorlichtingen valt buiten de scope van het artikel. Gebrek aan kwaliteit kan wel oorzaak zijn van het beperkte gebruik van beleidsdoorlichtingen. Daar waar dit het geval is duiden we dit. De kwaliteit van beleidsdoorlichtingen zelf komt uitgebreid aan de orde in Koopmans e.a. (2018).

Paragraaf 2 van dit artikel laat zien dat ministeries en de Tweede Kamer de resultaten van beleidsdoorlichtingen maar mondjesmaat lijken te gebruiken. Paragraaf 3 beschrijft de probleemanalyse. In paragraaf 4 presenteren we mogelijke oplossingen voor dit probleem, gevolgd door conclusies in paragraaf 5.

2. (On)zichtbaar gebruik van beleidsdoorlichtingen

Om te achterhalen in hoeverre de inzichten uit beleidsdoorlichtingen benut zijn, is gekeken naar (A) het aantal nieuwe acties en maatregelen dat de minister in de aanbiedingsbrief bij de beleidsdoorlichting benoemt en (B) het aantal Kamervragen dat over de beleidsdoorlichting is gesteld.

A) Gebruik door de minister

Beleidsdoorlichtingen leiden in beperkte mate tot zichtbare nieuwe acties van de minister (zie Figuur 2.1). Het merendeel van de aanbiedingsbrieven en/of andere formele kabinetsreacties verwijst naar eerder ingezet beleid en minder vaak naar nieuw beleid. Als naar nieuw beleid is verwezen, is dat vaak voorzichtig geformuleerd, zoals ‘de minister overweegt’. Het nieuwe beleid heeft daardoor veelal een vrijblijvend karakter. Zes beleidsdoorlichtingen (12%) hebben helemaal niet tot zichtbare nieuwe acties van de minister geleid. Een voor de hand liggende tegenwerping is dat er geen acties kunnen volgen als de beleidsdoorlichting geen aanbevelingen tot het verhogen van de doelmatigheid en doeltreffendheid doet. In alle zes deze beleidsdoorlichtingen is echter een hoofdstuk of paragraaf met aanbevelingen opgenomen. In slechts twee kabinetsreacties is ingegaan op alle aanbevelingen uit de beleidsdoorlichting. Voor het merendeel van deze aanbevelingen is actie ondernomen.

Figuur 2.1 Beleidsdoorlichtingen leiden in beperkte mate tot zichtbare nieuwe acties van de minister

Bron: SEO Economisch Onderzoek (2018).

B) Gebruik door de Tweede Kamer

Ook de Tweede Kamer reageert in beperkte mate op de inzichten uit beleidsdoorlichtingen (zie Figuur 2.2). Via de website www.overheid.nl zijn parlementaire documenten (zoals Kamerstukken en Kamervragen) doorzocht op basis van dossiernummers en aanvullende zoektermen. Over 41% van de beleidsdoorlichtingen is in de Tweede Kamer geen enkele vraag gesteld. Als er vragen zijn gesteld, is dat meestal een verzoek om toelichting of om aanvullende cijfers. Bij 8% van de beleidsdoorlichtingen overweegt de Tweede Kamer om actie te ondernemen, zoals het overnemen van een aanbeveling uit de doorlichting. In deze gevallen is het onduidelijk of deze actie wordt ondernomen vanwege eerder ingezet beleid, of dat er actie wordt ondernomen naar aanleiding van de beleidsdoorlichting.

Figuur 2.2 Over 41% van de doorlichtingen is in de Tweede Kamer geen vraag gesteld.

Bron: SEO Economisch Onderzoek (2018).

C) Gebruik binnen ministeries

Om ook het gebruik binnen ministeries te duiden zijn interviews uitgevoerd met directeuren Financieel-Economische Zaken (FEZ) van diverse ministeries. De directies FEZ hebben binnen de ministeries een controlerende rol. Zij werpen een kritische blik op bestaand beleid en nieuwe beleidsvoorstellen en hebben daarover veel contact met de afdelingen die het beleid vormgeven en uitvoeren. Ook vormen zij een belangrijke schakel tussen het ministerie waarvan ze deel uitmaken en het Ministerie van Financiën, met name waar het gaat om begrotingen en jaarrekeningen. Een van hun rollen is om ervoor te zorgen dat het ministerie tijdig beleidsdoorlichtingen uitvoert. Daardoor zijn de directeuren FEZ bij uitstek in staat om te beoordelen of en hoe ministeries de resultaten van beleidsdoorlichtingen intern gebruiken. Om ook het beeld van andere betrokkenen mee te nemen zijn bovendien interviews uitgevoerd met twee directeuren-generaal, een raadsadviseur van het Ministerie van Algemene Zaken, een lid van de Algemene Rekenkamer, de directeur van het Centraal Planbureau, de directeur van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) en andere evaluatiedeskundigen van diverse ministeries.

Het beeld dat uit de interviews naar voren komt is dat het gebruik binnen ministeries ook beperkt is. Sommige geïnterviewden stellen dat beleidsdoorlichtingen ‘beleidsleren’ stimuleren en dat de inzichten van (grote) invloed zijn op de beleidsontwikkeling. In enkele interviews werden concrete voorbeelden gegeven van beleidsacties naar aanleiding van inzichten uit beleidsdoorlichtingen. Zo heeft de beleidsdoorlichting ‘Groen onderwijs van hoge kwaliteit’ uit 2014 bijvoorbeeld geleid tot een nieuw profiel ‘Groen’ in het voortgezet onderwijs. Dergelijke voorbeelden zijn echter schaars. De meeste geïnterviewden doelen op doorwerking op de gedachtenvorming binnen het ministerie die indirect en vaak pas na verloop van tijd plaatsvindt.

3. Probleemanalyse

Als het gebruik van inzichten uit beleidsdoorlichtingen beperkt is, hoe komt dat dan? En waarom voeren we deze beleidsdoorlichtingen dan toch uit? Deze vragen zijn ook gesteld in de interviews. Deze paragraaf schetst het beeld dat hieruit naar voren komt.

De meeste geïnterviewden geven aan dat de inzichten uit beleidsdoorlichtingen (te) beperkt zijn om ze goed te kunnen gebruiken. Dit heeft verschillende oorzaken:

1. Beleidsdoorlichtingen sluiten onvoldoende aan bij de wijze waarop beleid wordt gevoerd. Begrotingsartikelen zijn zo breed dat het vrijwel onmogelijk is om uitkomstmaten te definiëren voor het gehele artikel. Het relevante beleid is vaak nog breder dan het begrotingsartikel. Conclusies over afzonderlijke doelen en maatregelen zijn vaak wel mogelijk, maar zeggen weinig over het gehele beleidsterrein. Bovendien evalueren beleidsdoorlichtingen het verleden en kijken ze niet hoe toekomstige doelen bereikt kunnen worden.
2. Sommige geïnterviewden stellen dat het voor ministeries niet altijd wenselijk is om kwantitatieve doelen vast te stellen. Bijvoorbeeld de werkloosheid wordt niet alleen bepaald door het ingezette beleid maar ook in sterke mate door de conjunctuur. Het beleid van ministeries wordt vaak beïnvloed door omgevingsfactoren, zoals internationale ontwikkelingen of beleid van een ander departement. Daardoor veranderen de doelen en is vooraf vaststellen van doelen kwetsbaar. Gebrek aan kwantitatieve doelen maakt het voor evaluatoren vervolgens moeilijk om vast te stellen in hoeverre het beleid doeltreffend was.
3. Sommige geïnterviewden geven aan dat er op diverse departementen een beperkte leercultuur is en mede daardoor beperkte interesse bestaat in het wetenschappelijk toetsen van de effectiviteit van beleid.
4. Diverse geïnterviewden stellen dat beleidsdoorlichtingen niet aansluiten op het politieke proces. ‘De politiek’ is niet echt gevoelig voor feitelijke uitkomsten, maar veel meer voor beelden en incidenten. Hierdoor is er weinig neiging om het gevoerde beleid te evalueren. Daar komt bij dat de beleidsdoorlichting een rationele toets is. Politieke keuzes worden echter ook door vele andere factoren beïnvloed, zoals het maatschappelijk draagvlak of politieke afspraken. Daarnaast is de timing van de beleidsdoorlichting vaak niet gelukkig. Tijdens een kabinetsperiode is er vaak geen mogelijkheid om acties aan beleidsdoorlichtingen te verbinden omdat het Regeerakkoord voorop staat.
5. De eisen aan beleidsdoorlichtingen (Financiën 2018b) bevorderen volgens diverse geïnterviewden niet de neiging tot evalueren. Met name de verplichting om een variant te onderzoeken waarin twintig procent wordt bespaard op de uitgaven van het begrotingsartikel, wordt als bedreigend ervaren en als niet passend bij leren van beleid. Hierdoor is er geen veilige leeromgeving rondom evaluaties, maar een ‘afrekencultuur’.

Het totaalbeeld dat uit de interviews naar voren komt is dat ministeries worstelen met beleids-doorlichtingen; dat stimuleert hen niet om de resultaten te gebruiken. Dit kan er bovendien toe leiden dat de Tweede Kamer zijn controlerende taak niet goed kan vervullen. De Algemene Rekenkamer signaleert: ‘Onze onderzoeken in voorgaande jaren hebben laten zien hoe weinig er soms nog bekend is van wat de rijksoverheid met het geld dat zij jaarlijks int en uitgeeft, weet te realiseren.’ (Algemene Rekenkamer 2019).

4. Effectiever gebruik van beleidsdoorlichtingen

Beleidsdoorlichtingen zijn onvoldoende scherp en gericht op verantwoorden in plaats van leren. Als deze tekortkomingen worden aangepakt, zal het gebruik van beleidsdoorlichtingen toenemen.

4.1 Maak beleidsdoorlichtingen concreet toepasbaar

Als niet een begrotingsartikel maar een beleidsterrein de basis voor een beleidsdoorlichting is, ontstaat een directere aansluiting tussen de beleidsdoorlichting en het beleid. Dit vergemakkelijkt het gebruik van de inzichten van de beleidsdoorlichting. Het zal wellicht leiden tot overlap tussen beleidsdoorlichtingen wat betreft hun scope, waarbij eventuele tegenstrijdigheden expliciet moeten worden besproken met het oog op leereffecten. En als er niet doorgelichte ‘gaten’ vallen, is wellicht aanvullend onderzoek nodig.

De synthesefunctie van beleidsdoorlichtingen kan worden verbeterd door meer evaluaties van afzonderlijke doelen en maatregelen uit te voeren. In die evaluaties kunnen concrete uitkomstmaten worden onderzocht. In de beleidsdoorlichting kan dan een totaalbeeld worden geschetst, zonder dat daarbij ’overkoepelende’ uitkomstmaten nodig zijn. Dit geeft beleidsmakers vervolgens een concreter beeld van de benodigde aanpassingen in het beleid.

Ook kan de kwaliteit van de achterliggende evaluaties nog worden verbeterd. Van belang is om ex ante meetbare doelstellingen te verbinden aan maatregelen en om al gedurende de interventie data te verzamelen. Ex post is dan een ‘harde’ econometrische evaluatie mogelijk waarin causale effecten worden aangetoond (Commissie Theeuwes 2012). Deze hardheid maakt het tevens gemakkelijker om te acteren op de uitkomsten.

Tot slot kunnen beleidsdoorlichtingen beter strategisch worden gepland tegen het eind van een kabinets¬periode. Lessen kunnen dan worden meegenomen in het volgende Regeerakkoord.

4.2 Neem de spanning tussen leren en verantwoorden weg

Beleidsdoorlichtingen kunnen zich sterker richten op leren en verbeteren van toekomstig beleid. Zij zullen dan eerder worden gebruikt dan beleidsdoorlichtingen die zijn gericht op het in kaart brengen van missers uit het verleden of op het zoeken naar mogelijkheden om in budgetten te snijden. Beleidsdoorlichtingen proberen nu al deze dingen tegelijkertijd te doen.

De focus kan worden verlegd door andere vragen te stellen. Vraag 14 van de lijst vragen die in een beleidsdoorlichting moet worden beantwoord, luidt: ‘Welke maatregelen kunnen worden genomen om de doelmatigheid en doeltreffendheid verder te verhogen?’ (Financiën 2018b). Door deze vraag meer nadruk te geven verschuift de focus naar leren.

Hetzelfde kan worden bewerkstelligd door de vragen die sterk neigen naar verantwoorden uit de vragenlijst te schrappen. Dit geldt met name voor vraag 15, waarin gevraagd wordt opties te verkennen om 20% op het beleidsartikel te besparen. Dergelijke opties kunnen beter worden verkend in Interdepartementale Beleidsonderzoeken en Heroverwegingsonderzoeken.

Tot slot kan het lerend vermogen van ministeries intern worden versterkt. De Beleidskwaliteit en -Evaluatie Commissie (BEC) bij het Ministerie van Economische Zaken en Klimaat en de onderzoeksorganisatie IOB bij het Ministerie van Buitenlandse Zaken en Ontwikkelingssamenwerking zijn hier goede voorbeelden van. Evaluatie binnen ministeries heeft het voordeel dat specialistische kennis met betrekking tot het gevoerde beleid kan worden gebruikt. Van een interne evaluator gaat bovendien minder dreiging uit. Een voorwaarde is wel dat organisaties die evaluaties uitvoeren onafhankelijk worden gepositioneerd, om ‘his master’s voice’ te voorkomen.

Als beleidsdoorlichtingen aansluiten bij beleid en gericht zijn op leren, neemt de motivatie om ze te gebruiken toe. Ook zal dan ex ante beter worden nagedacht over evaluaties van maatregelen die de basis van een beleidsdoorlichting vormen. De beleidsdoorlichting is dan geen periodieke verantwoordingsverplichting maar een doorlopend leerproces.

5. Conclusies

Informatie over effecten van beleid is belangrijk voor het functioneren van onze maatschappij. Toch maken de minister, de Tweede Kamer en de ministeries zelf maar mondjesmaat gebruik van de inzichten uit beleidsdoorlichtingen. Er bestaat een spanningsveld tussen ‘leren’ en ‘verantwoorden’. Daarnaast zijn beleidsdoorlichtingen onvoldoende concreet en bestaan er praktische bezwaren om aanbevelingen direct door te voeren.

Betere beleidsdoorlichtingen beginnen bij het vooraf formuleren van meetbare doelstellingen bij afzonderlijke beleidsmaatregelen. Ook dienen voorafgaand aan de beleidsdoorlichting alle onderliggende beleidsinstrumenten te zijn geëvalueerd. De beleidsdoorlichting kan dan putten uit een rijkdom aan inzichten en zodoende concrete aanbevelingen doen. De nadruk dient daarbij te liggen op leren en niet op verantwoorden. Dit alles maakt het voor bewindslieden, de Tweede Kamer en beleidsambtenaren gemakkelijker de aanbevelingen tot zich te nemen, mee te wegen in hun keuzes en aan te sturen op verdere verbetering van het beleid.

Literatuur

Algemene Rekenkamer, Staat van de Rijksverantwoording 2018. Den Haag: Algemene Rekenkamer 2019

Commissie Theeuwes, Durf te meten. Eindrapport Expertwerkgroep Effectmeting, Den Haag: Ministerie van Economische Zaken 2012.

Financiën (2014), ‘Verbetering verantwoording en begroting’. Kamerstukken II, 31865 nr. 65.

Financiën (2018a), ‘Verbetering verantwoording en begroting’. Kamerstukken II, 31865 nr. 121.

Financiën (2018b), ‘Regeling van de Minister van Financiën van 15 maart 2018, houdende regels voor periodiek evaluatieonderzoek’ (Regeling periodiek evaluatieonderzoek), Stcrt. 16632, 26 maart 2018.

IenW (2018), ‘MIRT Overzicht 2019. Meerjarenprogramma Infrastructuur, Ruimte en Transport’, Den Haag: Ministerie van Infrastructuur en Waterstaat (www.mirtoverzicht.nl).

C.C. Koopmans, B. Hof, N. Koeman, L. Kroon, W. Rougoor, B. ter Weel & J. Witteman, Beleidsdoorlichtingen belicht, SEO-rapport 2018-110, Amsterdam 2018. [bij de foto’s] N. Koeman, onderzoeker bij SEO Economisch Onderzoek. C. Koopmans, onderzoeksdirecteur bij SEO Economisch Onderzoek. W. Rougoor, senior onderzoeker bij SEO Economisch Onderzoek.

Over de auteurs:

N. Koeman, onderzoeker bij SEO Economisch Onderzoek.

C. Koopmans, onderzoeksdirecteur bij SEO Economisch Onderzoek.

W. Rougoor, senior onderzoeker bij SEO Economisch Onderzoek.