Effectmeting

Onderzoek naar de effecten van beleid is iets dat politici, ambtenaren, en beleidsonderzoekers altijd bezig houdt. Zijn er effecten? Zijn de effecten een gevolg van het beleid of waren deze effecten ook opgetreden als er geen beleid was gevoerd? Dit zijn de vragen die uiterst relevant zijn om te stellen en nog relevanter om te beantwoorden. In dit artikel worden enkele methodologische kwesties van effectmeting aan de orde gesteld. In het artikel wordt geconcludeerd dat het aanbeveling verdient een duidelijk onderscheid te maken tussen prestatiemeting en effectmeting. Het ontwikkelen van indicatoren die inzicht geven in het transformatieproces van inputs naar outputs is van grote betekenis voor het oordeel over de wijze waarop een organisatie omgaat met de productiemiddelen. Essentieel voor effectmeting is dat er een aannemelijk verband kan worden gelegd tussen het handelen van de organisatie en de (maatschappelijke) gevolgen daarvan.

Inleiding
De druk op organisaties binnen het publieke domein om verantwoording af te leggen over het functioneren is groot. Het is dan ook niet verwonderlijk dat de laatste jaren op veel beleidsterreinen in de publieke sector prestatiemeting gemeengoed is geworden. Bedrijfsvoeringtechnieken zoals benchmarking, de balanced scorecard en IN K-modellen zijn reguliere instrumenten geworden. Met de introductie van prestatiemeting is tegelijkertijd de onvrede over de waarde en betekenis van prestatiemeting eveneens toegenomen. De onvrede van leidinggevenden en medewerkers in veel organisaties wordt veroorzaakt door de sterke twijfel over de gekozen indicatoren en de meetprocedures van de prestaties.

Prestatiemeting is feitelijk niets anders dan het in beeld brengen van de hoeveelheden goederen en diensten zoals die worden geproduceerd. Op zich is dit geen complexe aangelegenheid, al moeten wel allerlei meetproblemen worden opgelost. Het echte probleem komt pas om de hoek kijken bij het bepalen van de waarde van hetgeen wordt geproduceerd. Er is daarbij een groot verschil tussen de private sector en de publieke sector. Goederen en diensten uit het private domein worden vrijwel altijd verhandeld op een markt en krijgen daar hun waarde.

Binnen het publieke domein kan dat ook het geval zijn (bijvoorbeeld het veilen van UM TS-frequenties), maar in de meeste gevallen gaat het om het scheppen van bepaalde condities of het bereiken van bepaalde effecten als gedragsveranderingen, zoals het verminderen van criminaliteit of het bijdragen aan de kwaliteit van de openbare ruimte. Kortom de effecten van beleid. Aandacht voor effecten van gevoerd beleid is uitgangspunt van veel politieke en ambtelijke debatten. Zo relatief gemakkelijk en snel als beleidsvoorstellen worden geformuleerd en geïmplementeerd, zo moeilijk is de meting van de mogelijke effecten. Door de sterke maatschappelijke en politieke druk om toch vooral tijdig en snel beleidsevaluaties te presenteren zijn alternatieve oplossingen in zwang geraakt.

Onderzoek naar de effecten van beleid is niet nieuw. De Algemene Rekenkamer en het Sociaal Cultureel Planbureau publiceren met enige regelmaat studies over effecten van beleid. Met de komst van lokale en provinciale rekenkamers zijn er de afgelopen jaren vele honderden rapporten over beleidseffecten gepubliceerd. Lang niet altijd lukt het om de effecten van beleid vast te stellen. Dat is echter wel waar lokale politici en bestuurders juist in geïnteresseerd zijn. Het uitblijven van de gewenste effecten daartegenover leidt tot veel discussies. Het meten van ‘onjuiste’ prestaties leidt tot veel teleurstellingen en frustraties.

In dit artikel worden meetprocedures belicht om de effecten van beleid vast te stellen en worden enkele methodologische kwesties aan de orde gesteld.
Bovendien wordt ingegaan op de relatie tussen inzicht in effecten van beleid en de oordeelsvorming over de relevantie van het beleid. Door gedegen effectmeting kan een beleidstheorie ook geheel of gedeeltelijk worden herzien. Dat levert de volgende vraagstelling op: Op welke wijze kunnen effecten van beleid in beeld worden gebracht, welke methodologische kwesties spelen hierbij en hoe kan het inzicht in de effecten van beleid bijdragen aan de oordeelsvorming over de relevantie van beleid?
Deze vraagstelling wordt uitgewerkt aan de hand van de volgende structuur. Eerst wordt een voorbeeld geschetst aan de hand waarvan duidelijk moet worden dat veranderingen causaal verbonden moeten zijn aan handelen om als beleidseffect getypeerd te kunnen worden. Daarna wordt ingegaan op het onderscheid tussen prestatiemeting en effectmeting. Vervolgens komt de noodzaak van een deugdelijke beleidstheorie voor het bepalen van beleidseffectiviteit ter sprake. Het geheel sluit af met enkele conclusies.

Hoezo beleidseffectiviteit?
Stel de gemeente A wenst de leefbaarheid van haar wijken te verhogen. Als eerste indicator voor leefbaarheid kiest men ervoor het oordeel van een breed samengesteld stadspanel te hanteren. Het stadspanel heeft tot taak eenmaal per maand een oordeel te vellen over de kwaliteit van de openbare ruimte en gebruikt als indicator Schoon en Heel. Het panel geeft elke maand een oordeel door middel van een cijfer van 1 - 100. Daarnaast wordt per maand het aantal incidenten met overlastgevende jongeren geregistreerd (in de vorm van aangiften bij de politie).

Het beeld over 2007 is weergegeven in tabel 1 en figuur 1.

2007	jan	feb	mrt	apr	mei	jun	jul	aug	sep	okt	nov	dec
Waarderingscijfer	22	35	52	54	62	52	64	45	57	65	57	59
# incidenten	67	47	29	26	31	47	38	90	72	68	67	53

Tabel 1. Ontwikkeling indicatoren Schoon en Heel en aantallen incidenten in gemeente A in 2007

Figuur 1. Ontwikkeling indicatoren Schoon en Heel en aantallen incidenten in gemeente A in 2007

In april 2008 zijn in de gemeente A nieuwe beleidsinitiatieven op het gebied van leefbaarheid ontplooid: een grote voorlichtingscampagne over het vermijden van zwerfvuil en de introductie van cameratoezicht in het centrale winkelgebied. Het beeld over 2008 is weergegeven in tabel 2 en figuur 2.

2008	jan	feb	mrt	apr	mei	jun	jul	aug	sep	okt	nov	dec
Waarderingscijfer	18	32	49	50	72	61	75	56	64	77	63	68
# incidenten	72	51	35	32	24	40	32	84	65	69	60	50

Tabel 2. Ontwikkeling indicatoren Schoon en Heel en aantallen incidenten in gemeente A in 2008

Figuur 2. Ontwikkeling indicatoren Schoon en Heel en aantallen incidenten in gemeente A in 2008

De situatie na april 2008 is duidelijk verbeterd ten opzichte van de periode april - december van 2007. De waarde van Schoon en Heel bleef gemeten over de periode januari - maart nagenoeg gelijk (gemiddeld 36,3 in 2007 en 33,0 in 2008). De waardestijging van de indicator Schoon en Heel gemeten over de periode april - december is substantieel (gemiddeld 41,1 in 2007 en 65,1 in 2008). Eenzelfde beeld ontstaat op basis van de indicator aantallen aangiften: gemiddeld 47,1 in 2007 en 52,6 in 2008 (over de maanden januari - maart), respectievelijk 57,2 in 2007 en 50,6 in 2008 (over de maanden april - december). Deze uitkomsten duiden op een duidelijke beleidseffectiviteit: over dezelfde periode gemeten is er sprake van 58% stijging voor Schoon en Heel en een daling van bijna 12% voor aantallen incidenten. De redenering achter de veronderstelde beleidseffectiviteit is dat de waarden van de indicator(en) aan het begin van de interventie worden vergeleken met de waarden nadat het instrument enige tijd is ingevoerd. Alle verschillen worden toegedicht aan het instrument.

Een en ander komt echter in een ander perspectief te staan indien de uitkomsten worden vergeleken met de ontwikkelingen in een vergelijkbare stad B (met dezelfde bevolkingsopbouw, grootte, sociale structuur, etc.). Stel dat daar met dezelfde indicatoren op gelijke wijze gemeten het beeld resulteert als weergegeven in tabel 3 en 4, en figuur 3 en 4.

2007	jan	feb	mrt	apr	mei	jun	jul	aug	sep	okt	nov	dec
Waarderingscijfer	26	32	45	44	33	22	31	16	19	22	25	32
# incidenten	80	63	36	42	45	62	50	98	92	81	77	64

Tabel 3. Ontwikkeling indicatoren Schoon en Heel en aantallen incidenten in gemeente B in 2007

Figuur 3. Ontwikkeling indicatoren Schoon en Heel en aantallen incidenten in gemeente B in 2007

2008	jan	feb	mrt	apr	mei	jun	jul	aug	sep	okt	nov	dec
Waarderingscijfer	34	43	64	59	48	36	47	28	31	37	39	45
# incidenten	75	56	36	34	38	56	45	102	82	74	75	59

Tabel 4. Ontwikkeling indicatoren Schoon en Heel en aantallen incidenten in gemeente B in 2008

Figuur 4. Ontwikkeling indicatoren Schoon en Heel en aantallen incidenten in gemeente B in 2008

Schoon en Heel scoort over de eerste drie maanden gemiddeld 34,3 (2007) respectievelijk 47,0 (2008) en laat over de periode april 2008 tot en met december 2008 een substantiële stijging zien van 111% (gemiddeld 27,1 in 2007 en 57,2 in 2008). De indicator aantallen incidenten laat over die periode het volgende beeld zien: 59,6 (2007) naar 55,6 (2008). Over de maanden april - december 2008 is ten opzichte van 2007 een daling waarneembaar, van gemiddeld 67,8 naar 62,7 (nagenoeg 8%). Indien nu geldt dat in gemeente B geen vergelijkbare wijzigingen in beleidsmaatregelen of beleidsintensiteit (zoals in de gemeente A) hebben plaatsgevonden, dan komt de vermeende beleidseffectiviteit van de gemeente A in een ander daglicht te staan. Immers, de ontwikkeling van de waarden van de indicatoren in beide gemeenten is min of meer gelijk. De conclusie lijkt dan gerechtvaardigd om te stellen dat niet de voorlichtingscampagne en het cameratoezicht, maar andere factoren de verbeteringen veroorzaken.

Meer algemeen kan het voorgaande probleem als in figuur 5 in beeld worden gebracht.

Figuur 5. Doelrealisering en causaliteit Toelichting: Het begrip causaliteit wordt gebruikt in de volgende betekenis: a. Er is samenhang tussen beleidsmaatregel (x) en beleidsdoel (y); b. Beleidsmaatregel (x) gaat in de tijd vooraf aan beleidsdoel (y); c. Er zijn geen andere variabelen die de samenhang tussen beleidsmaatregel (x) en beleidsdoel (y) tot stand brengen, dat wil zeggen de werking van storende factoren is uitgeschakeld.

De categorie ‘beleidsdoelen gerealiseerd, niet ten gevolge van beleid’ blijft doorgaans buiten beschouwing, omdat de bestuurders en beleidsmakers allang tevreden zijn. Deze denkbare mogelijkheid vereist een nadere analyse van de bereikte resultaten.
Het gebruik van de categorie ‘causaliteit, maar ontoereikend’ is in feite een onterechte constatering, omdat daarbij wordt uitgegaan van een perfecte relatie. Deze categorie vereist een verdere analyse om doorkruisende factoren te achterhalen en door uitschakeling van dergelijke factoren het beleid te optimaliseren

Soorten effecten en prestaties in meetprocedures
De beleidsevaluatie is sterk vormgegeven met de ontwikkeling van het vakgebied beleidswetenschappen na de Tweede Wereldoorlog. Beleidsevaluatie heeft recent een krachtige impuls gekregen met de introductie van New Public Management. Een van de uitgangspunten van deze stroming is dat op een vergelijkbare wijze als in de private sector de effecten van de diverse beleidsinspanningen gemeten moeten kunnen worden. Met dat uitgangspunt zijn prestaties en prestatiemeting nauw verbonden. Prestatiemeting is nauwelijks meer weg te denken in de publieke sector. Met prestatiemeting is de toepassing van andere methoden en technieken mogelijk geworden. Het vergelijken van organisaties met behulp van benchmarken is sterk toegenomen. Het al dan niet beoordelen van organisaties door visitatiecommissies waarbij gebruik gemaakt wordt van zelfstudies met prestatieoverzichten is niet meer weg te denken op universiteiten en hogescholen, maar ook zbo’s en corporaties werken met deze systematiek.
De functies van prestatiemeting zijn:

• transparant maken
• vergelijken
• oordelen
• leren
• afrekenen1

Wat zijn nu precies effecten en prestaties in meetprocedures? Prestatiemeting en effectmeting worden al snel gelijkgeschakeld of er is tenminste verwarring over het onderscheid tussen prestatiemeting en effectmeting. Daarom is enige ordening noodzakelijk. In lijn met de beleidspraktijk kan het volgende onderscheid worden gemaakt:
a inputs en inputindicatoren,
b processen en procesindicatoren,
c outputs en prestatie-indicatoren,
d outcomes en effectindicatoren.

In de beleidspraktijk en in het beleidsonderzoek worden de vier onderscheiden categorieën in wisselende mate gebruikt. Bovendien geldt dan ook nog de eis dat de indicatoren voldoende SMART (specifiek, meetbaar, acceptabel, realistisch en meetbaar) zijn geformuleerd. Enkele waarnemingen en constateringen:

• Met de systematische ontwikkeling van groepen indicatoren is een duidelijke vooruitgang geboekt in de meetprocedures. Vergelijking van ogenschijnlijk onvergelijkbare publieke organisaties is mogelijk geworden en sterk toegenomen. Zie het werk van de Rijksbrede Benchmarkgroep.
• Om inzicht te krijgen in het optreden of achterwege blijven van effectindicatoren moet de ontwikkeling en werking van input-, proces- en outputindicatoren worden gemeten. Om bovendien recht te doen aan de inzet van leidinggevenden en medewerkers in beleidsprocessen is het gewenst om inputindicatoren en procesindicatoren te onderzoeken. In het geval van lokaal rekenkameronderzoek behoren inputindicatoren en procesindicatoren tot systematische onderdelen van een normenkader.

Hoewel in de praktijk de inputindicatoren, procesindicatoren, prestatieindicatoren en effectindicatoren doorgaans in een en dezelfde meetprocedure worden samengevat, zijn het groepen indicatoren van een verschillende orde:

• Inputindicatoren en procesindicatoren zijn geen prestatie-indicatoren.
• Prestatie-indicatoren zijn geen effectindicatoren.

Er wordt nog te dikwijls slordig omgegaan met de verschillende clusters indicatoren. Het verdient aanbeveling om per cluster indicatoren te formuleren, te meten en te rapporteren. De samenhang tussen de verschillende clusters indicatoren kan het best verhelderd worden door stil te staan bij de gebruikte beleidstheorie.

De functie van een beleidstheorie
In de beleidspraktijk leiden prestaties lang niet altijd tot de gewenste effecten. De regelmatig terugkerende debatten over de relatie tussen prestaties en prestatiemeting en het uitblijven van effecten is gedeelte lijk te wijten aan het uitblijven van invloed van de output (gemeten via prestatie-indicatoren) op outcome (gemeten via effectindicatoren).
De belangrijkste ambitie van beleidsonderzoek in het kader van de ‘werkt het’-vraag is gelegen in het ex ante en ex post beoordelen van de relatieve doelmatigheid en doeltreffendheid van mogelijke oplossingen, aldus Hemerijck (2003, p.35) Het vooraf (ex ante) formuleren van een beleidstheorie en het achteraf reconstrueren van een beleidstheorie is cruciaal voor succesvol beleid.

Beleidstheorie is geen wetenschappelijke theorie, maar kan worden omschreven als de tot een geheel van hypothesen, gereconstrueerde of samengevatte veronderstellingen die aan een beleid ten grondslag liggen (Leeuw, 1989, p. 91). In een wetenschappelijke theorie worden input-, proces- en outputfactoren doorgaans beschouwd als noodzakelijke factoren voor het beïnvloeden van de afhankelijke variabele (outcome). De kwestie is of bij een ex ante of een ex post evaluatie van een beleidstheorie de input-, proces- en outputfactoren wel adequaat beoordeeld kunnen worden als noodzakelijke voorwaarden, en of deze factoren als aparte prestaties kunnen worden gemeten en beoordeeld.
In figuur 5 zijn vier mogelijke uitkomsten van beleid (doelrealisering) gepresenteerd. In de praktijk krijgt een onderzoeker of bestuurder slechts één uitkomst per beleidssituatie ter beoordeling. Elk van de vier genoemde uitkomsten dient consequent geanalyseerd en beoordeeld te worden. Een vooraf (ex ante) geformuleerde beleidstheorie biedt aanknopingspunten voor een systematische evaluatie. Bij het ontbreken van een meer of minder gearticuleerde beleidstheorie kan ook de volgende informatie gebruikt worden (vgl. Van Dijken, 2006):

• visie op het beleidsprobleem;
• definitie van het probleem;
• beleidsdoelen;
• gebruikte beleidsinformatie;
• taakverdeling tussen de bij het beleid betrokken actoren.

Beleidstheorie als basis voor het veiligheidsbeleid2
In het eerder gepresenteerde voorbeeld zijn twee indicatoren genoemd voor de leefbaarheid namelijk: a. Het aantal incidenten gedurende een bepaalde periode; en b. De waarderingscijfers van een stadspanel voor Schoon en Heel. Het betrof een fictief voorbeeld. Dat neemt niet weg dat de dergelijke indicatoren ook in de beleidspraktijk worden gehanteerd, zoals in Rotterdam. Op basis van een analyse van de knelpunten in de aanpak van (on)veiligheid in die stad richtte het veiligheidsbeleid zich op de samenwerking tussen alle relevante partijen (gemeente, politie, justitie, bewoners, e.d.). Hiertoe creëerde het bestuur het project Geïntegreerd Veiligheidsbeleid (GVB). Daarnaast werd voor de integraliteit van het beleid het zogenaamde RISC-model ontwikkeld. Dat is de beleidstheorie als basis voor het beleid. In dit model zijn vier oorzaken van veiligheid en veiligheidsbeleving benoemd: ruimtelijke omgeving, functioneren van instellingen in de wijk, sociale verhoudingen en criminaliteit.
Het RISC-model (de beleidstheorie) is gebaseerd op het volgende. Een attractieve omgeving (ruimtelijke factor R) leidt tot een prettige leefomgeving en daardoor tot minder verhuizingen en meer sociale controle (sociale factor S). Dat heeft weer invloed op criminaliteitscijfers en het veiligheidsgevoel (crimogene factor C). Dat veiligheidsgevoel hangt weer samen met het vertrouwen dat bewoners hebben in de politie en andere (overheid)organisaties, die bijdragen aan een verbetering van de veiligheid (institutionele factor I).

Indien bij gevoerd beleid een beleidstheorie is gebruikt, leidt dat tot transparantie en biedt het mogelijkheden om de prestaties en de uitkomsten beter te kunnen waarderen.
Tegelijkertijd zijn met het gebruik van een beleidstheorie wel enkele methodologische kwesties verbonden. De eerste methodologische kwestie is de aard van de causale verbanden die verondersteld worden tussen inputfactoren, procesfactoren en outputfactoren. Toegepast op het RISC-model betekent dat de vraag of de gevolgde redenering (causale keten) wel correct is. Leidt een prettige leefomgeving wel tot minder verhuizingen? En leidt minder verhuizen tot meer sociale controle? Beoordeling van de redenering in het RISC-model kan plaatsvinden op basis van face-value, door vergelijking met andere redeneerlijnen en door weging en waardering van de uitkomsten. Indien beleid succesvol is dan impliceert dat in ieder geval dat er een redelijke kans bestaat dat men met het gevoerde beleid ‘op de goede weg’ is.

De tweede methodologische kwestie betreft de vraag of de meting van de prestaties aan input-, proces- of outputfactoren methodologisch hetzelfde is als de meting van outcomes. Hierbij gaat het om de vraag of de gebruikte indicatoren ‘aantal gemelde incidenten’en ‘score op denkbare meetlat van 1 tot 100 over gevoelens van Schoon en Heel’ een goede proxy zijn van gevoelens van veiligheid. Het is in de meeste beleidssituaties te prefereren om direct de outcomes te meten. Indien dat niet mogelijk is zoekt men noodgedwongen naar indirecte oplossingen. Bij het veiligheidsbeleid lag het accent op integraliteit van meerdere beleidsvelden. In een dergelijke situatie is het noodzakelijk om voor alle factoren uit de beleidstheorie indicatoren te gebruiken (teneinde witte vlekken in de evaluatie te vermijden).

Beleidsfocus en de kwaliteit van een beleidstheorie
Bij beleidsonderzoek kunnen meerdere typen beleidsvragen worden gesteld. De eerder genoemde ‘werkt het’-vraag houdt zich vooral bezig met het succes of falen van het overheidsbeleid. Daarnaast wordt de ‘past het’-vraag gesteld. Daarbij gaat het niet om probleemgeoriënteerde beleidsanalyse, maar om de interactiegeoriënteerde beleidsanalyse. Het beleid wordt in deze visie gezien als het resultaat van interactie tussen meerder publieke en (semi)private actoren met eigen opvattingen over aard van de problemen en de oplossingen (Hemerijck en Ringeling, 2003, p. 23). Voor de oordeelsvorming is het belangrijk na te gaan of in de gebruikte beleidstheorieën al met deze twee perspectieven rekening wordt gehouden, bijvoorbeeld door in de fase van de probleemgeoriënteerde beleidsanalyse, bij de formulering van een beleidstheorie, al rekening te houden met vraagstukken van passendheid.

De kwaliteit van een beleidstheorie
De invloed van prestatie-indicatoren op de effectindicatoren is sterk afhankelijk van de kwaliteit van de beleidstheorie. De kwaliteit kan worden verbeterd door de beleidstheorie te onderbouwen en aan te vullen met wetenschappelijke theorie c.q. wetenschappelijke inzichten. De situatie is vergelijkbaar met een arts in de praktijk van alledag. Ook de arts ontwikkelt een beleidstheorie of handelingstheorie per patiënt. Daarbij maakt de arts gebruik van bestaande theoretische inzichten over de betekenis van bloeddruk, lichaamstemperatuur, bloedgroepen, etc. In de beleidspraktijk wordt op basis van ervaringsgegevens en verkregen inzichten eveneens een beleidstheorie ontwikkeld.

Een beleidstheorie kan beoordeeld worden op basis van drie soorten criteria:
a Wetenschapstheoretische criteria:

• begripsprecisie: duidelijke begripsomschrijving;
• informatiegehalte: theorie mag niet uitsluitend ‘open deuren’ of onweerlegbare uitspraken bevatten;
• consistentie: theorie mag geen onderling tegenstrijdige uitspraken bevatten;
• empirisch gehalte: de uitspraken in de theorie moeten empirisch onderbouwd kunnen worden;

b Praktische criteria:

• praktische richtlijnen;
• onderscheiden tussen manipuleerbare en niet-manipuleerbare variabelen;

c Strategische criteria:

• veronderstelde maatschappelijke omstandigheden moeten overeenkomen met de feitelijke omstandigheden (Leeuw, 1989, p. 98).

Formulering van een beleidstheorie
Een moeilijkheid bij de beoordeling van de kwaliteit van een beleidstheorie in een beleidsdocument is de vaak beperkte omschrijving in stukken en documenten die ten grondslag liggen aan beleid. Er worden dikwijls impliciet assumpties geformuleerd. Maar een beleidsanalist moet wel ‘zoeken’ naar de inhoud van de totale beleidstheorie. Met behulp van argumentatieanalyse en inhoudsanalyse en aangevuld met vraaggesprekken is het mogelijk om een gebruikte beleidstheorie te reconstrueren (Leeuw, 1989, p.96). Bij de reconstructie van een beleidstheorie kan gebruik worden gemaakt van methoderegels: verzamel uitspraken van beleidsmakers, ga na waarom men meent het betreffende probleem op te kunnen lossen door middel van overheidsbeleid, etc.

Enkele conclusies
Het verdient aanbeveling een duidelijk onderscheid te maken tussen prestatiemeting en effectmeting. Het ontwikkelen van indicatoren die inzicht geven in het transformatieproces van inputs naar outputs is van grote betekenis voor het oordeel over de wijze waarop een organisatie omgaat met de productiemiddelen die haar ter beschikking staan. Een organisatie die zorgvuldig met de productiemiddelen omgaat, is echter niet altijd een organisatie die ook effectief is in de zin van het bereiken van de beoogde effecten van het beleid. Een onontbeerlijk instrument is het (ex ante) ontwerpen van een beleidstheorie. Deze legt – hypothetisch – de verbinding tussen de beleidsprestaties en de beleidseffecten. Hoe doordachter deze beleidstheorie is, des te groter is de kans dat het gewenste beleidseffect optreedt. Het verdient daarbij aanbeveling zowel de ‘werkt het-vraag’ als de passendheid van de beleidsmaatregel in de beschouwing te betrekken. Grondige analyse van de effecten van het gevoerde beleid levert een bijdrage aan het oordeel over de relevantie van het beleid. Daarbij moet worden bedacht dat zowel het optreden van gewenste beleidseffecten als het achterwege blijven van gewenste effecten aanleiding vormen voor een zorgvuldige analyse van de gebruikte beleidstheorie.

J.L.M. Hakvoort en H.L. Klaassen zijn beide als universitair hoofddocent verbonden geweest, respectievelijk verbonden aan de opleiding Bestuurskunde van de Erasmus Universiteit Rotterdam.

Noten
1 In de literatuur (o.a. Van Mil e.a.; 2008) is al veel geschreven over de verschillende gedragsreacties die met de verschillende functies samenhangen. Hier volstaat de constatering dat het grootste verschil waarneembaar is tussen leren en afrekenen. Afrekenen leidt tot reacties die, vergelijkenderwijs, de levensduur van de gehanteerde indicatoren ernstig bekorten.
2 Het voorbeeld van een beleidstheorie is ontleend aan: ‘Veilig zijn, veilig voelen’, Rapport Rekenkamer Rotterdam, 2005, p.53.

Literatuur

• Dijken, K van, (2006), ‘Beleidstheorie in lokaal rekenkameronderzoek. Effecten van lokaal beleid’, In: Beleidsevaluatiespecial 2006, Research voor Beleid.
• Ringeling, A.B. & Hemerijck, A. (2003). ‘Een toren van Babel?’, In V. Bekkers & A. Ringeling (Eds.), Vragen over beleid. Perspectieven op waardering (pp. 17-31). Utrecht: Lemma.
• Leeuw, F.L. (1989), ‘Beleidstheorieën, veronderstellingen achter beleid’, In: A. Hoogerwerf (red.), Overheidsbeleid, Alphen a.d. Rijn, Samsom H.D. Tjeenk Willink, pp. 91-105.
• Mil, B. van, N. Boer, G. van Velzen, H. de Bruijn, E. ten Heuvelhof, A. Dijkzeul, M. Noordink (2008), Prestaties afspreken doe je zo! Lessen over outputsturing uit acht sectoren, Berenschot Fundatie/ Assen,Van Gorcum.
• Rekenkamer Rotterdam (2005) ‘Veilig zijn, veilig voelen, Het gemeentelijk beleid wijkveiligheid’, Rapport Rekenkamer Rotterdam.
• Samenwerkingsverband Rijksbrede Benchmark (2009), Good Practices RBB-Groep, Rapport.