Leren van beleidsevaluatie

In het artikel ‘Lerende overheid, intelligent beleid? Leerproblemen en - instrumenten nader verkend’ in TPC magazine nummer 6, jaargang 4, geeft Peter van der Knaap inhoud aan het begrip lerende overheid en wordt ingegaan op diverse oorzaken van gebrekkig leren. De rol van de public controller bestaat volgens Van der Knaap vooral uit het helpen creëren van leercondities, want leren kan immers niet worden afgedwongen. Toch kan de public controller meer doen om te zorgen dat de prestatie-informatie, die hij heeft helpen verzamelen, wordt meegenomen in de te leren lessen. De public controller doet er goed aan zich bewust te zijn van die leerobstakels die buiten zijn eigen invloed liggen en hierop te anticiperen. Dit alles vergt wel dat hij af en toe afstand doet van zijn klassieke visie op sturing.

Voor kinderen bestaat een leerplicht en als zij niet goed leren zijn zij een ‘erkend probleemgeval’. Voor overheidsorganisaties geldt dit allemaal niet, hoewel betoogd zou kunnen worden dat kinderen gemiddeld leergieriger zijn dan ambtenaren. Vanzelfsprekend komen leerproblemen ook in private organisaties voor. Voor hen geldt echter dat leergedrag tevens het selectiemechanisme is en dus direct van belang voor de continuïteit van de organisatie (REA 2007). Leren door organisaties kent vele gedaantes en definities. Het leergedrag dat ik heb onderzocht heeft betrekking op leerobstakels die een rol spelen bij het gebruik van prestatiegegevens en beleidsevaluaties in de bijstelling van overheidsbeleid.

Het probleem van een niet lerende organisatie voor de controller
Binnen de controllerprofessie wordt leren meestal bezien als een regelkring, zoals de bekende ‘Plan Do Check Act’- cyclus. Toegepast op beleidsuitvoering verloopt deze beleidscyclus in theorie als volgt. In de beleidsvorming worden de doelen en indicatoren vastgesteld. Tijdens de uitvoering wordt de voortgang gemeten en achteraf wordt geëvalueerd of de doelen zijn gehaald. De sturingsinformatie die het meten en evalueren oplevert, wordt gebruikt voor bijstelling van het beleid. Het systematisch verbeteren van beleid door zo’n leercyclus was, naast transparante verantwoording van uitgaven, een hoofddoelstelling achter de introductie performance budgeting bij zowel de rijks- als decentrale overheid. Het probleem is echter dat deze laatste fase, de bijstelling op basis van de resultaten van prestatiemeting of evaluatie, bij overheidsorganisaties in praktijk nauwelijks plaats blijkt te vinden. Met andere woorden er wordt volop gemeten en geëvalueerd, maar met de uitkomst wordt bijna niets gedaan. Dit beeld wordt geschetst door vele rapporten van auditdiensten en rekenkamers en ook in de VBTB-evaluatie. De Nederlandse situatie is op dit gebied overigens verre van uniek. Publicaties van buitenlandse auteurs (Schick 2003, Scott 2003) en de Amerikaanse Rekenkamer GAO komen tot dezelfde conclusies.
Voor de public controller is dit vervelend. Immers, de bijdrage van zijn control- instrumentarium aan het bereiken van de organisatiedoelen wordt niet waargemaakt. Hierdoor worden niet alleen kansen gemist om fouten te corrigeren, maar ook kansen om te leren van successen van beleid. In feite betekent dit het failliet van een groot deel van het door de public controller gepropageerde, ontwikkelde en geïmplementeerde instrumentarium van prestatiemeting en evaluatie.

Beperkingen van de controllersblik
Wat moeten we met deze onheilspellende berichten? Kan de public controller beter verslagen terugkeren naar de comfort zone van financiële waarheden? Ik denk dat dit een tragische vergissing zou zijn. Om te beginnen is een aantal nuancerende opmerkingen op zijn plaats bij de toepassing van een regelkring op het leren van lessen over beleid.
Ten eerste is monitoring en evaluatie van de eigen beleidsuitvoering vanzelfsprekend nooit de enige bron voor bijstelling van beleid. Veranderingen in de omgeving van de organisatie en in het beleidsveld kunnen hier ook aanleiding toe geven, even als nieuwe kennis. Worden deze buiten beschouwing gelaten, dan komt bijstelling van beleid neer op vervolmaking van een oplossing voor het probleem van gister in plaats van dat van morgen. Dit geldt in het bijzonder voor nieuwe beleidsterreinen waarover nog veel kennis ontbreekt (zie in dit kader het WRR-rapport ‘Lerende overheid – een pleidooi voor probleemgerichte politiek’ ten aanzien van ‘ongetemde problemen’).
Ten tweede komt het gebruik van lessen uit evaluatie en prestatie-informatie het beste tot zijn recht bij processen die vaak herhaald worden. Extreem gesteld: van een uniek project is nu eenmaal minder te leren omdat er vaak geen volgende keer komt waarin de lessen onder gelijke omstandigheden kunnen worden toegepast. Tenslotte is bijstelling op basis van prestatie-informatie en evaluaties een typisch voorbeeld van diagnostic control systems uit de vier typologieën van Simons (1995, boundary, belief en interactive control systems). We hebben het dus over slechts een beperkt deel van het arsenaal dat de eigentijdse public controller tot zijn beschikking heeft.

Veel oorzaken van gebrekkig leren
Is er wél sprake van beleid waarbij verwacht mag worden dat er daadwerkelijk kan worden geleerd volgens een regelkring, dan zijn er vele oorzaken te vinden waardoor dit toch niet gebeurt.

Op basis van een literatuurstudie deel ik die in de volgende 4 categorieën in, welke deels zijn ontleend aan het werk van Van der Knaap:

1. De prestatie-informatie over het beleid is niet geschikt om van te leren. Bijvoorbeeld omdat de informatie geen inzicht geeft in het succes van het beleid of aan de betrouwbaarheid wordt getwijfeld.
2. De organisatie beschikt niet over interne prikkels om te leren. Dit kan het geval zijn als medewerkers zich niet (mede-)verantwoordelijkheid voelen voor de resultaten (Senge 1990) of als de nadruk meer ligt op risico’s vermijden dan resultaten boeken. Schick (2003) merkt in dit kader op: “compliance is usually the enemy of performance”.
3. Er vindt geen constructieve dialoog over het beleid n.a.v. de prestatie-informatie. Deze dialoog kan ontsporen doordat deelnemers te veel van elkaar verschillen in kennis en achtergrond of niets nieuws opleveren, omdat hij beperkt blijft tot de eigen, vertrouwde kring.
4. Leren van prestatie-informatie wordt niet beloond door omgeving van de organisatie. Het leren van lessen uit beleid komt politiek niet goed uit.

Een ander sturingsperspectief
In bestuurskundige kringen wordt door sommigen het beeld van sturing door de overheid nog veel verder genuanceerd. De veronderstelling dat gedrag in de maatschappij zich laat sturen door beïnvloeding van buitenaf zou aan herziening toe zijn (In ’t Veld 1999). De klassieke visie op sturing gaat uit van gedragsbeïnvloeding om een bepaald doel te bereiken. Deze sturing is effectief als het doel wordt bereikt en efficiënt wanneer dit gebeurt met zo min mogelijk middelen. Bij evaluaties vanuit dit perspectief worden daarom vaak vraagtekens geplaatst bij de effectiviteit en de efficiency van de sturing. Dit soort evaluaties slaat vaak niet aan in bestuurlijke kringen omdat men daar inmiddels al weer bezig is met andere doelen. Om beter aansluiting te vinden bij het complexe en onvoorspelbare politieke besluitvormingsproces, zouden we terughoudend moeten zijn met het exact en eenduidig formuleren van doelen.
Hoe exacter deze zijn gedefinieerd, hoe eerder zij hun relevantie zullen verliezen bij toekomstige besluitvorming. Door robuuster (lees minder SMART) beleid te formuleren, wordt het beleid minder kwetsbaar voor ‘voortschrijdend inzicht’ door politici en beleidsmakers. Dit verhoogt de kans dat een les uit het oude beleid relevant wordt geacht voor de politieke discussie op een later moment. In plaats van zich richten op gedragsbeïnvloeding zou de overheid in haar sturing moeten aangrijpen op de leerprocessen die de rest van de maatschappij doormaakt. Dit om te voorkomen dat ze zelf wordt buitengesloten van deze leerprocessen (Termeer/redactie In ’t Veld, 1999). Dit betekent dat leergedrag door het maken van andere beleidskeuzes zich niet kan voegen naar de time slots van een planning en control-cyclus, dit zal eerder gebeuren op de (onvoorspelbare) momenten wanneer dit maatschappelijk en politiek opportuun is.
Om recht te doen aan de complexiteit van beleid zou ook meervoudigheid (redundantie) ingebouwd moeten worden in de informatie en de relaties. Werkelijk nieuwe kennis wordt namelijk opgebouwd door verschillende versies van de waarheid met elkaar te confronteren. Vanuit deze optiek is het riskant om je, in je sturing, te baseren op slechts één definitie van de werkelijkheid.

Ik vat deze zienswijzen op sturing in de publieke sector samen als een stochastisch sturingsperspectief. Geconstateerd kan worden dat de consequenties ervan haaks staan op de ons zo bekende visie op sturing (hier aangeduid als deterministisch). Daar waar controllers trachten de complexiteit van sturing te beheersen, eist het stochastische sturingsperspectief juist ruimte op voor deze complexiteit. De verschillen tussen beide zienswijzen worden in onderstaande tabel samengevat.

Gebruik van beide perspectieven om leerobstakels te slechten
Vooropgesteld: bekering tot het stochastisch sturingsperspectief zou het onmogelijke vragen van de public controller en is ook niet wenselijk. De deterministische visie van de controller heeft juist zo veel toe te voegen aan de alledaagse politieke rationaliteit. Wel ben ik van mening dat dit extra perspectief bruikbaar is om ervoor te zorgen dat lessen uit evaluaties en prestatie-informatie beter hun weg vinden in de politieke besluitvorming. De public controller kan een bijdrage leveren aan het voorkomen van de vier eerder geformuleerde categorieën leerobstakels, door zich te bedienen van beide perspectieven.

Het deterministische perspectief helpt vooral bij de eerste categorie leerobstakels: de prestatie-informatie zelf. Door zijn betrokkenheid kan de kwaliteit, betrouwbaarheid en presentatie van prestatie-informatie worden bevorderd. Dit wordt binnen de controllerprofessie breed onderkend.
Voor leerobstakels van de derde categorie, de dialoog naar aanleiding van de prestatie-informatie, bevindt de public controller zich in een spagaat. Enerzijds moet hij kritisch kunnen aanzetten tot twijfels over het gevoerde beleid vanuit zijn deterministisch perpspectief. Anderzijds moet hij de bezinning over beleidskeuzes in alle veiligheid laten plaatsvinden, zonder dat dit direct tot leidt afrekening of straf. Van der Knaap (2006) geeft deze dubbelrol treffend weer in zijn artikel. In het organiseren van de dialoog over beleidsresultaten kan de controller een brugfunctie (laten) vervullen door enerzijds de taal van de vakinhoudelijke experts te spreken en voor hen niet als bedreigend te worden gezien en anderzijds geloofwaardig afstand te kunnen nemen van de beleidskeuzes die inzet zijn van bijstelling.

Voor leerobstakels van de tweede en de vierde categorie, de prikkels tot leren binnen en rondom de overheidsorganisatie, laat het deterministische perspectief het geheel afweten en kan gebruik gemaakt worden van inzichten uit het andere, stochastische sturingsperspectief.

Kansen benutten
Als bestuurders of bewindslieden alleen teruggrijpen op evaluaties of gemeten prestaties als ze ermee kunnen ‘scoren’, is dit een leerobstakel, die noodzakelijke bijstelling van beleid verhindert. Ontstaat er echter een politieke of maatschappelijke wens tot aanpassing van beleid, dan doet zich dus een kans voor: er kan politiek worden gescoord met het leren van een beleidsles. Een politieke wisseling van de wacht bij het aantreden van een nieuw kabinet is zo’n kans. Aan de public controller om deze kans niet te missen. Overigens kan ook een politieke wens tot bijstelling intern doorwerken als prikkel tot leergedrag binnen de ambtelijke organisatie (zie kader).

Niet al te SMART doen en redundantie van informatie toepassen
Ontbreken interne leerprikkels van nature in de organisatie, dan heeft de invoering van New Public management-achtige formele systemen van prestatiesturing meestal ook weinig kans van slagen (Shick 2003, REA 2007). Door de deterministische bril te verruilen voor de stochastische, kan leergedrag op andere wijzen worden ondersteund of bevorderd.

Ter illustratie: een ‘goed nieuws’-cultuur waarin vooral successen worden gemeld en weinig over mislukkingen wordt gesproken is een leerobstakel. Dit obstakel kan omzeild worden door een evenwichtig beeld te presenteren van te leren lessen en successen van beleid. De public controller kan dit doen door verschillende perspectieven op succes van beleid te presenteren in de evaluatie en aanbevelingen (het toepassen van redundantie van informatie dus). Veel evaluaties komen met beleidsconclusies over het succes van beleid die redelijk eendimensionaal zijn en één SMART geformuleerde doelstelling en indicator volgen. Maar het kan ook anders. Bij de evaluatie van de liberalisering van het taxibeleid bijvoorbeeld, kunnen de successen bekeken worden vanuit de klant (bijvoorbeeld prijs en kwaliteit dienstverlening), de sector zelf (margeontwikkeling, omvang taxivervoersmarkt, de regeldruk) of vanuit specifieke doelen van overheid (betere integratie van de taxi in de totale vervoersketen). Met zoveel invalshoeken is het meten van succes misschien een ingewikkelde en kostbare zaak, maar het levert wel een genuanceerd beeld op dat bovendien mogelijkheden biedt om lessen eerder geaccepteerd te krijgen. Er zijn namelijk meestal zowel successen waar aandacht voor gevraagd kan worden, als zaken die bijstelling behoeven. Heb je alleen een niet gehaalde target voor je neus, dan wordt de verleiding voor de beleidsmaker of politicus groot om de les als irrelevant van tafel te vegen. Zeker daar waar het relatief nieuwe of complexe beleidsterreinen betreft is het, uit het oogpunt van beleidsleren, verstandig om het beleid niet meer SMART te verwoorden dan het eigenlijk is en redundantie van informatie toe te passen ten aanzien van het vaststellen van succes van beleid.

Verder onderzoek
Als de controller zich bewuster wordt van leerobstakels en beter kansen op bijstelling van beleid leert benutten, kunnen de verwachtingen met betrekking tot performance budgeting met betrekking tot het verbeteren van beleid worden terug gebracht tot meer realistische proporties. Dit vergt beantwoording van de volgende vragen:

1. Wanneer mag worden verwacht dat leren volgens een regelkring een wezenlijke bijdrage levert aan intelligent beleid?
2. En als dit het geval is: hoe kan de controller voorkomen dat deze bijdrage verloren gaat vanwege de verschillende soorten leerobstakels.

Mijns inziens vergt het beantwoorden van deze vragen nog veel boeiend onderzoek.

Drs. M de Jong MPC CPC is sinds 2005 werkzaam als adviseur organisatie governance en control bij de Hoofddirectie Financiën, Management en Control van het Ministerie van Verkeer en Waterstaat. Hij schreef dit artikel op persoonlijk titel.

Literatuur

• Argyris, C. and D. Schön, (1996). Organizational learning II: Theory, method and practice. Reading (MS): Addison-Wesley.
• Diamond, J. (2005). Establishing a Performance Management Framework for Government, IMF working paper.
• Knaap, P. van der (1997). Lerende overheid, intelligent beleid – de lessen van beleidsevaluatie en beleidsadvisering voor de structuurfondsen van de Europese Unie. Den Haag: Phaedrus.
• Raad van Economisch Adviseurs (REA 2007). Lof der eenvoud – verhogen kwaliteit en effectiviteit overheid. Adviesnummer 2007/1.
• Scott, G. (2003). The Learning Government. OECD Journal on budgeting, Volume 3 - No.2.
• Schick, A. (2003). The Performing State: reflection of an idea whose time has come but whose implementation has not. OECD Journal on Budgeting, Volume 3 - No.2.
• Senge, P.M. (1990). The Fifth Discipline- The Art and Practice of the Learning Organization. New York: Currency Doubleday.
• Simons, R. (1995). Levers of control: how managers use innovative control systems to drive strategic renewal. Boston: Harvard Business School Press.
• In ‘t Veld, R.J. samenst. en red.(1999). Sturingswaan & ontnuchtering – het karakter van overheidssturing verandert. Het is zelfs de vraag in hoeverre de term sturing nog op zijn plaats is. Utrecht: Lemma B.V.
• Wierdsma, A.F.M. (1999). Co-creatie van verandering. Delft: Eburon.
• WRR (2006). Rapport Lerende overheid - een pleidooi voor probleemgerichte politiek. Amsterdam/Den Haag: Amsterdam University Press.