Hoe effectief is de rekenkamer?

Er zijn meerdere modellen voorhanden om doorwerking te meten, waaruit de rekenkamerkamer kan kiezen. Wij voegen er een model aan toe, dat een knip legt tussen het bereik van het rekenkamerproduct in het politiek-bestuurlijke samenspel en daarbuiten, en de effecten die het product teweeg heeft gebracht. Om vervolgens in te gaan op de relatie hiertussen, de gerealiseerde doorwerking en de verklarende factoren.

In de tijd dat rekenkamer(commissie)s van provincies, gemeenten en waterschappen bestaan, hebben zij ervaren dat het niet altijd voldoende is om goede producten af te leveren. Er zijn allerlei redenen, zoals timing en politiek-bestuurlijke dynamiek en verhoudingen, die ervoor kunnen zorgen dat met dat goede product weinig tot niets gebeurt. Veelal is er meer nodig om te zorgen dat een product goed ‘landt’ bij raad, college en ambtenaren en de adviezen van de rekenkamer worden overgenomen en uitgevoerd. 

Reflecteren om te leren

De rekenkamers beogen met hun werk en producten bij te dragen aan de kwaliteit van het openbaar bestuur. Met hun onderzoeksrapporten, presentaties of handreikingen verwachten zij, breed gedefinieerd, een bijdrage te leveren aan de (verdere) verbetering van de beleidsvorming, meningsvorming, besluitvorming, beleidsuitvoering en verantwoording door en/of namens het bestuur van de gemeente, provincie of waterschap (Lemmens, 2014). Om na te gaan of dat in de praktijk ook zo uitpakt en hun producten er ook daadwerkelijk toe doen, is het zinvol dat rekenkamers met enige regelmaat bezien of hun producten (het beoogde) effect sorteren. Om ervan te leren en zo nodig daarover het gesprek aan te gaan met raad1 en college.

De effecten van rekenkamers worden in rekenkamerland aangeduid met de term ‘doorwerking’. Er is een aantal soorten doorwerking te onderscheiden, waarover later meer. Doorwerking is echter een lastig te operationaliseren begrip. Om de doorwerking toch te kunnen meten hebben we dat in het model opgelost door op zoek te gaan naar variabelen, om daarna in de analyse tot een oordeel te kunnen komen over de gerealiseerde doorwerking, 

Meerdere modellen voorhanden

Uit de literatuur blijkt dat doorwerking een ambigue begrip is, dat zogezegd lastig te operationaliseren is. Om de doorwerking te meten zijn verschillende modellen ontwikkeld. Zo heeft Aardema (2002) de doorwerkingstrap ontwikkeld om de introductie van bestuurlijke vernieuwing, bedrijfsvoering en informatie(voorziening) (BBI) bij gemeenten te evalueren. Meer gebruikt door rekenkamers is het model dat Bekkers c.s. (2004) gemaakt hebben om doorwerking van strategische adviezen inzichtelijk te maken. Elementen van de doorwerkingstrap van Aardema vinden we overigens daarin terug. In de evaluatie van provinciale en gemeentelijke rekenkamers, in opdracht van BZK, is het model van Bekkers c.s. door Berenschot gebruikt. Op beleidsonderzoekonline.nl hebben Hoekstra (2013) en Lemmens (2014) het doorwerkingsmodel naar de praktijk getracht te vertalen. De commissie Kwaliteitszorg van de NVRR heeft in 2015 het ‘Stappenplan meten van doorwerking’ opgezet. Het is uiteraard aan de rekenkamer om voor haar doorwerkingsonderzoek een model te kiezen en eventueel te bewerken. Voor het stappenplan heeft de commissie kwaliteitszorg van de NVRR het cirkelmodel ontwikkeld om de doorwerking van decentrale rekenkamers te meten. Op verzoek van de NVRR en met subsidie van het ministerie van BZK zijn het stappenplan en cirkelmodel in de praktijk in een aantal pilots getest en hebben rekenkamers hun feedback erop gegeven. Op basis van hun ervaringen is het cirkelmodel doorontwikkeld tot een nieuw model, dat we hieronder toelichten.

Het gaat hierbij overigens om modellen die de doorwerking in algemene zin in kaart brengen. Wanneer in een doorwerkingsonderzoek heel specifiek en gedetailleerd wordt nagegaan in hoeverre er gevolg is gegeven aan de door de rekenkamer opgestelde aanbevelingen ten aanzien van een specifiek thema en wat het effect ervan is, wordt dit in de praktijk aangeduid met de term opvolg- of vervolgonderzoek. Met een dergelijk onderzoek biedt de rekenkamer de raad zowel inzicht in de uitvoering die het college heeft gegeven aan de – door de raad overgenomen – aanbevelingen, als in meer of mindere mate ook inzicht in de huidige stand van zaken en aanknopingspunten voor verdere verbetering ten aanzien van het betreffende beleidsonderwerp. 

Introductie nieuw model

Uit het pilotonderzoek is onder andere naar voren gekomen dat het cirkelmodel een hiërarchie in variabelen in zich herbergt. Door de cirkels blijkt het model in de praktijk zo geïnterpreteerd te worden dat de ene variabele naar een ‘hogere’ vorm van doorwerking dan een andere variabele verwijst, terwijl dat nooit de bedoeling is geweest van de commissie Kwaliteitszorg. Deze hiërarchie willen we wegnemen. Daarbij komt dat het naar ons idee zinvol is binnen een doorwerkingsonderzoek een onderscheid te maken tussen enerzijds het bereik dat het product heeft gehad binnen de politiek-bestuurlijke context en de omgeving, en anderzijds de veranderingen die er naar aanleiding van het product zijn opgetreden: het effect of de effecten van het rekenkamerproduct. 

Er zijn twee redenen om deze knip tussen bereik en effect aan te brengen. In een doorwerkingsonderzoek staat uiteindelijk het effect van een of meerdere rekenkamerproducten centraal. Het bereik van het product kan gezien worden als het proces of de weg daarnaartoe. Deze aspecten hangen samen. Maar: ook als het bereik van het rekenkamerproduct niet optimaal is, kan er sprake zijn van effect, en daarmee van doorwerking. En andersom geldt dat een optimaal bereik van het rekenkamerproduct weliswaar een goede kans biedt op effect en doorwerking, maar dat hoeft niet per se zo te zijn. De knip is aangebracht om beide aspecten – het bereik en de effecten van een rekenkamerproduct – op hun merites te beoordelen en vervolgens met elkaar in verband te brengen: heeft het een ook tot het ander geleid? Is er sprake van een ‘oorzaak-gevolg’-relatie? 

Daarnaast is er een praktische reden voor het aanbrengen van een onderscheid tussen bereik en effecten. Uit de pilots blijkt dat het in kaart brengen van de effecten van een rekenkamerproduct, afhankelijk van het onderwerp, een bewerkelijke klus kan zijn. In het pilotonderzoek is hier over aangegeven: ‘wanneer de aanbevelingen een actie betreffen is het eenvoudig om te beoordelen of deze geeffectueerd is, maar in veel gevallen is het bewerkelijk om de effecten van de aanbevelingen te achterhalen.’ De knip tussen bereik en effect maakt het mogelijk voor een rekenkamer om ervoor te kiezen alleen het bereik te onderzoeken en daar vervolgens verklaringen voor te vinden en lessen uit te trekken teneinde het bereik van rekenkamerproducten te optimaliseren. Om daarmee zo goed mogelijke voorwaarden te scheppen voor doorwerking van hun product.

Meten, verklaren en leren

Het nieuwe model bestaat uit drie onderdelen: A, B en C. Met dit model kan een rekenkamer in drie fasen de doorwerking in kaart brengen en analyseren. Ook is het mogelijk te kiezen voor een ‘light’-versie door alleen het – op feiten gerichte – onderdeel A of onderdelen A en B te onderzoeken. 

Het model gaat uit van een product, bijvoorbeeld een onderzoeksrapport, presentatie of handreiking, dat door de rekenkamer wordt aangeboden aan de gemeenteraad. In onderdeel A wordt feitelijk in beeld gebracht welk bereik het rekenkamerproduct heeft gehad, dan wel hoe het is gebruikt. Is er aandacht geweest voor het product, is het geagendeerd in de commissie en/of raad, is het besproken en heeft er besluitvorming over plaatsgevonden? Daarnaast kan het product leiden tot aandacht bij inwoners, pers et cetera. Al deze variabelen zeggen iets over het bereik van het product. Aan de hand van indicatoren worden deze feitelijk in beeld gebracht en desgewenst visueel samengevat, bijvoorbeeld in een spinnenwebdiagram. 

In onderdeel B wordt onderzocht welke veranderingen er naar aanleiding daarvan zijn opgetreden: het effect of de effecten van het rekenkamerproduct. Zijn de aanbevelingen geïmplementeerd en hebben deze ook in de praktijk het – al dan niet beoogde – effect gehad? Is er naar aanleiding van het product iets veranderd in de beleidsvorming, meningsvorming, besluitvorming, beleidsuitvoering en verantwoording van het gevoerde bestuur? En in hoeverre heeft dit ook geleid tot een verbeterde output of outcome van het beleid? In dit onderdeel wordt eveneens nagegaan in hoeverre de rekenkamer met dit product heeft bereikt wat haar ermee voor ogen stond. In de uitgebreide beschrijving van het model wordt aan de hand van mogelijke indicatoren toegelicht hoe deze variabelen feitelijk in kaart kunnen worden gebracht.

Vervolgens voert de rekenkamer ter verdieping in het derde onderdeel (C) een analyse uit om te komen tot een uitspraak over welke (soort) doorwerking er gesorteerd is en wat de verklaringen hiervoor zijn. Om vervolgens te komen tot leer- en verbeterpunten. Hieronder lichten we de elementen van de analysefase verder toe.

Beoordelen en duiden doorwerking

Op basis van de in het doorwerkingsonderzoek gemeten variabelen en indicatoren wordt de specifieke doorwerking bepaald. Daarvoor onderscheiden we – onder meer op basis van de indeling van Bekkers c.s. (2004) – vier vormen van doorwerking:

• Voorwerking. Van voorwerking is sprake indien het product na aankondiging en voor publicatie al heeft geleid tot verbeterende actie(s) van het college en/of ambtelijke organisatie.
• Agenderende doorwerking. Van agenderende doorwerking is sprake als door het product een nieuw onderwerp of beleidsthema onderwerp van het maatschappelijke of politieke debat is geworden.
• Instrumentele doorwerking. Van instrumentele doorwerking is sprake als er veranderingen zijn opgetreden c.q. aanpassingen zijn doorgevoerd in het beleid en/of de uitvoering als gevolg van het rekenkamerproduct. Hiervan is bijvoorbeeld sprake als de aanbevelingen – al dan niet ten dele – zijn geïmplementeerd. En idealiter hun effect hebben. Ook bij minimale aanpassingen van beleid en/of uitvoering is er sprake van instrumentele doorwerking. 
• Conceptuele doorwerking. Conceptuele doorwerking is de verandering van kennis, opvattingen of causale redeneringen. Het product heeft geleid tot discussie, gedachtevorming en ontwikkeling van toekomstvisie. Het betekent ook dat de raad, het college en de ambtelijke organisatie bij de beleidsontwikkeling op een bepaald gebied rekening houden met wat de rekenkamer op een ander gebied heeft aanbevolen. 

Een mogelijke vijfde vorm van doorwerking die kan optreden is de politiek-strategische doorwerking. Hiervan is sprake als het rapport wordt gebruikt om de machtspositie van een of meerdere spelers te versterken om op deze wijze de politieke doelen beter te kunnen bereiken. Deze vorm zal naar onze mening nimmer een doel van de rekenkamer zijn, maar kan wel optreden als onbedoeld neveneffect van het product.

Inzicht geeft uitzicht op verbetering

Het nieuwe model biedt rekenkamers de mogelijkheid na te gaan wat de verklaringen zijn voor het al dan niet behaalde resultaat. Naast externe factoren of ontwikkelingen kunnen dit aspecten zijn die de rekenkamer kan beïnvloeden en derhalve aanknopingspunten kunnen bieden voor lessen en verbeterpunten. Geïnspireerd en aansluitend op het BACKTO-model van Hoekstra (2013) hebben we een aantal mogelijke verklarende factoren op een rij gezet. Deze verklaringen, die zowel een positieve als een negatieve werking kunnen hebben gehad, kunnen gezocht worden in aspecten als:

• onderwerpkeuze/aansluiting bij de behoefte van de raad,
• timing van het onderzoek,
• kwaliteit van de analyse, conclusies en de aanbevelingen,
• vorm/presentatie van het onderzoek,
• communicatie rondom de publicatie,
• procedures rondom de behandeling van rekenkamerproducten,
• bestuurscultuur binnen de gemeente,
• interactie rekenkamer met de raad, ambtenaren en/of college,
• acceptatie/steun binnen de ambtelijke organisatie voor de aanbevelingen,
•... .

De verklaringen kunnen aan de hand van een zelfanalyse of (groeps)gesprekken met betrokkenen worden verkend en worden meegenomen in de analyse van de rekenkamer als het gaat om het verklaren van het bereik, de effecten en de doorwerking van hun producten en de relaties daartussen. 

De resultaten van de analyse worden verwerkt in de rapportage die de rekenkamer (deels) voor intern gebruik kan bestempelen, dan wel kan delen met het gemeentebestuur en/of kan gebruiken in het kader van een bredere evaluatie van het functioneren van de rekenkamer. Om inzicht te krijgen in hoeverre de rekenkamer een bijdrage levert aan de (verdere) verbetering van de beleidsvorming, meningsvorming, besluitvorming, beleidsuitvoering en verantwoording door en/of namens het bestuur van haar gemeente, provincie of waterschap.

Tot slot

Met dit model verwachten we een bijdrage te leveren aan het denken over doorwerking van decentrale rekenkamerproducten en de reflectie van rekenkamers op hun eigen effectiviteit. Rekenkamers die het model willen toepassen, kunnen een nadere toelichting met daarin de variabelen, indicatoren en uitgewerkte vragen per onderdeel en een uitgebreid stappenplan downloaden op de website van de NVRR.2

Etienne Lemmens is onderzoeker/adviseur bij Prae Advies & Onderzoek, voorzitter Rekenkamercommissies Brunssum en Landgraaf, lid/penningmeester Rekenkamer BEL en bestuurslid NVRR.
Margot Gerritsen is zelfstandig onderzoeker, verbonden aan creatief adviesnetwerk 7Zebra’s. 

Noot

1  Omwille van de leesbaarheid wordt gesproken over de gemeenteraad, waarvoor al naar gelang de bestuurslaag Provinciale Staten of Algemeen Bestuur van een waterschap gelezen dient te worden.
2  Wij bedanken het ministerie van BZK en de NVRR voor het mogelijk maken van de doorontwikkeling van het model; en de rekenkamers die deel hebben genomen aan de pilots voor hun tijd en inhoudelijke inbreng.

Literatuur
•  Aardema, H. (2002), Bedrijfsmatige schijnbewegingen – Over BBI, verstaffing en waarde-interactionisme, Leusden.
•  Bekkers, V.J.J.M., Fenger, H.J.M., Homburg, V.M.F, & Putters, K. (2004), Doorwerking van strategische beleidsadvisering. Erasmus Universiteit Rotterdam & Universiteit van Tilburg.
•  Commissie Kwaliteitszorg NVRR (2015), ‘Stappenplan – Meten van doorwerking decentrale rekenkamers’.
•  Hoekstra, R. (2013), ‘Wat is de meerwaarde van onze rekenkamer? – Introductie van een model om de doorwerking van rekenkameronderzoek te meten’, In: Beleidsonderzoek Online, oktober-december 2013
•  Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2011), ‘Evaluatie van de provinciale en gemeentelijke rekenkamers’, Den Haag’.