Lokale rekenkamers bij de les

29 augustus 2012 om 11:18 door Leon van den Dool, Cor van Montfort 0 reacties

Nu lokale rekenkamers en rekenkamercommissies al enkele jaren functioneren duiken valkuilen op zoals zelfgenoegzaamheid, voorspelbaarheid, oude gewoonten en eenvormigheid. Wie houdt de controleur scherp en toetst periodiek de effectiviteit en efficiency? De auteurs van dit artikel vroegen de mening van lokale rekenkamers.

Stelt u zich eens voor dat de winkel bij u om de hoek in de wijde omtrek geen concurrentie heeft, dat de winkelier onafhankelijk van de vraag van de klanten zelf bepaalt wat er in de schappen ligt omdat hij zegt wel te weten wat de mensen nodig hebben én stelt u zich voor dat deze winkel ook nog eens een vaste afzetgarantie heeft bij de overheid. er is een grote kans dat u bij deze winkel niet de meest innovatieve producten en de beste kwaliteit, tegen de laagste prijs zult krijgen.
De positie van lokale rekenkamers is heel vergelijkbaar met deze winkelier. Nu lokale rekenkamers en rekenkamercommissies al enkele jaren functioneren duiken valkuilen op zoals zelfgenoegzaamheid, voorspelbaarheid, oude gewoonten en eenvormigheid. De vraag wie de controleur scherp houdt en zijn effectiviteit en efficiency periodiek toetst, wint dan ook aan actualiteit. Dat kan op verschillende manieren. Bijvoorbeeld door een zekere mate van concurrentie te organiseren, door van tijd tot tijd te kijken of de onderwerpen en aanbevelingen aansluiten bij de wensen van de gebruikers, of door periodiek een visitatie te organiseren. Uit een survey onder lokale rekenkamers en rekenkamercommissies blijkt dat een meerderheid van de lokale rekenkamergemeenschap een systeem van visitatie nuttig en wenselijk vindt als manier om de rekenkamer scherp te houden. Voordat we ingaan op het instrument zelf, staan we wat uitgebreider stil bij de valkuilen voor lokale rekenkamers. Wij richten ons op de lokale rekenkamers, dat wil zeggen rekenkamers voor gemeenten en provincies. Veel van de aspecten zijn echter geen exclusief probleem voor lokale rekenkamers, maar gelden ook voor de algemene rekenkamer.

Valkuilen voor rekenkamers

Zelfgenoegzaamheid
Zelfgenoegzaamheid is een belangrijke valkuil voor rekenkamers en dus ook voor lokale rekenkamers. Die zelfgenoegzaamheid kan op verschillende manieren naar voren komen. Bijvoorbeeld als rekenkamers zich, al dan niet met een beroep op de onafhankelijkheid, onvoldoende openstellen voor interne en externe kritiek en te weinig investeren in kwaliteitszorg.
Van zelfgenoegzaamheid is verder sprake als rekenkamers hun eigen perspectief en hun eigen rol verabsoluteren. Het is de rol van de rekenkamer om vanuit het denken in termen van verantwoordelijkheden, meetbare beleidsdoelstellingen en de kwaliteit van de informatievoorziening naar de politiek-bestuurlijke werkelijkheid te kijken.

Van zelfgenoegzaamheid is ook sprake als de blik van de rekenkamer als de enige juiste wordt gezien. Dat ontkent echter de politieke werkelijkheid die niet verloopt volgens weloverwogen doelrationele beslissingslijnen en waarin kennis en informatie een beperkte rol spelen. Dat moet overigens rekenkamers er niet van weerhouden om vanuit hun eigen perspectief een bijdrage aan het debat en de besluitvorming te leveren.

De rekenkamer is in praktijk slechts een van de spelers in het politiek-bestuurlijke krachtenveld en de blik waarmee de rekenkamer naar de werkelijkheid kijkt is er slechts een onder vele. Een goed onderzoek en een goede analyse van de praktijk kunnen op zichzelf al helpen om een beter politiek besluit te nemen zonder dat dat noodzakelijkerwijs het besluit moet zijn dat de rekenkamer in gedachten had. Rekenkamers hebben echter de neiging om zichzelf pas als succesvol te beschouwen als hun aanbevelingen worden opgevolgd. Dat kan duiden op een vorm van zelfgenoegzaamheid (‘u bent verkeerd bezig als u onze visie niet deelt’). Interessant in dit verband is een onderzoek van de rekenkamercommissie van de gemeente Utrecht uit 2004 waarin zij nagaat wat er van de aanbevelingen uit vijf eerdere onderzoeken terecht is gekomen. Daarbij analyseert zij ook de kwaliteit van de eigen aanbevelingen. Zij komt tot de conclusie dat van de 38 aanbevelingen er 13 achteraf bezien niet of niet voldoende concreet waren geformuleerd (Rekenkamercommissie Utrecht, 2004). Dat betekent overigens niet dat zij geen effect hadden:
‘Het onderzoek heeft duidelijk gemaakt dat er geen verband bestaat tussen de geconstateerde concreetheid en resultaatgerichtheid van de aanbeveling en de mate waarin aan de aanbeveling opvolging is gegeven. Aanbevelingen die abstract zijn geformuleerd kunnen blijkbaar toch een attenderend effect hebben.’ (p. 20)
Een kritische blik op de eigen aanbevelingen en de opvolging daarvan kan helpen zelfgenoegzaamheid te voorkomen en wellicht in sommige gevallen leiden tot de conclusie dat het achteraf niet zo erg was dat bepaalde aanbevelingen niet zijn opgevolgd.

Het gevaar van zelfgenoegzaamheid wordt versterkt omdat de positie van de lokale rekenkamers wettelijk verankerd is. Het budget ligt vaak voor jaren vast. De rekenkamer heeft geen concurrent en bepaalt uiteindelijk zelf wat er wordt onderzocht en hoe dit gebeurt. Ook wordt de rekenkamer als instituut met ‘het goede’ verbonden (‘goed dat er onafhankelijke controle is’). Tot slot is in de publieke opinie wat de rekenkamer zegt waar en berusten de oordelen van de rekenkamer op juiste en volledige bevindingen. Deze factoren maken het risico op zelfgenoegzaamheid levensgroot. Wildavsky wees al op een vergelijkbaar risico. Personen en instanties met de taak te evalueren en verbeterpunten aan te dragen ontmoeten vaak weerstand, lopen risico geïsoleerd te raken en zich vervolgens terug te trekken op eigen vaste methoden, rollen en gedragspatronen (Wildavsky, 1979; Kaufmann, 1986). gelukkig staat daar tegenover dat de verwachtingen ook torenhoog zijn. Rekenkamers moeten keer op keer bewijzen er ook echt toe te doen en hun meerwaarde duidelijk maken.

Voorspelbaarheid
Rekenkamers hebben in veel gemeenten een gezaghebbende positie verworven. Wanneer de rapporten van rekenkamers naast elkaar worden gelegd, valt echter op dat de conclusies en aanbevelingen voorspelbaar worden, vergelijkbaar met het assortiment van de bovengenoemde winkelier dat jaar na jaar hetzelfde blijft. In veel rekenkamerrapporten wordt aangegeven dat de doelen van beleid niet meetbaar zijn. De term ‘SmarT’ komt bij een aantal gemeenten zo vaak voor in rekenkameronderzoek dat gemeenten zich SmarT-moe verklaren. Zijn de doelen wel meetbaar, dan deugt de rapportage niet omdat de voorgenomen gegevens niet zijn opgenomen. Het lijstje met voorspelbare conclusies is gemakkelijk langer te maken:

de samenwerking verloopt niet goed;
de verantwoordelijkheden zijn niet duidelijk;
dossiers en administratie zijn niet op orde;
risicoanalyse schiet tekort.

Oude gewoonten
Een andere valkuil is de valkuil van oude gewoonten. De rekenkamer heeft het altijd zo gedaan, dus blijft het zo. Oude gewoonten kunnen pas na enkele jaren ontstaan en gaan daarom voor de meeste rekenkamers pas nu een rol spelen. Onderzoeken en omstandigheden zijn echter niet altijd hetzelfde. De vraag is dan terecht of bijvoorbeeld de telkens gebruikte methode van documentenanalyse en interviews wel de beste onderzoeksmethode is. Het argument dat deze methode telkens is gehanteerd, is dan niet erg krachtig en de prikkel om eens iets nieuws te doen is vaak afwezig.

Eenvormigheid
Een vierde valkuil is de valkuil van eenvormigheid. Verschillende onderzoeksvragen en onderzoeksterreinen vragen om verschillende onderzoeken en rapportages. Soms is een klassiek rapport heel zinvol, een andere keer volstaat een brief, congres of handreiking als eindproduct. Ook hier is een creatieve opstelling en een open houding belangrijk. Per keer zou moeten worden bekeken wat het meest effectief is. De valkuil van eenvormigheid en de oproep tot creativiteit is overigens niet nieuw in de bestuurskunde. In de jaren ’40 en ’50 deed Laswell al een oproep het (beleids)probleem centraal te stellen en hieraan vanuit verschillende disciplines te werken (Laswell, 1949, 1951).

De mening van de lokale rekenkamers
Nu rekenkamers een vaste rol en positie hebben verworven en in veel gevallen een kleine stapel onderzoeken hebben geproduceerd is de vraag hoe de valkuilen van zelfgenoegzaamheid, al te grote voorspelbaarheid, eenvormigheid en oude gewoonten kunnen worden voorkomen en hoe rekenkamers kunnen blijven voldoen aan de hoge verwachtingen.
Wij hebben deze vraag voorgelegd aan ruim tweehonderd rekenkamers in Nederland (alle lid van de NVRR) en kregen negentig reacties. Dat leidt niet tot een volledig statistisch representatief beeld, maar geeft wel een goede indruk van de opvattingen van de rekenkamergemeenschap over mogelijke vormen van ‘toezicht’ op rekenkamers. In tabel 1 is de verdeling van de respons over de verschillende deelpopulaties weergegeven.

Alternatieven	Percentage	Waarde
1 Secretaris van de rekenkamer(commissie)	31,1%	28
2 Lid van de rekenkamer(commissie)	16,7%	15
3 Voorzitter van de rekenkamer(commissie)	40,0%	36
4 Anders, namelijk:	12,2%	11
Totaal		90

Tabel 1. Respons

Kritische blik
Heeft u het functioneren van uw rekenkamer wel eens kritisch bezien of laten bezien?

Ruim 65% van de respondenten vindt een kritische blik op rekenkamers en rekenkamercommissies nuttig of zeer nuttig. Tweederde van de rekenkamers heeft het functioneren al eens kritisch bezien. Meestal heeft men dat zelf gedaan, soms is er een extern bureau bij betrokken geweest (zie tabel 2).

Alternatieven	Percentage	Waarde
1 Ja, dat hebben we zelf gedaan	43,3%	39
2 Ja, door een extern bureau	22,2%	20
3 Ja, door uitwisseling met een andere rekenkamer	5,6%	5
4 Nee	15,6%	14
5 Anders, namelijk:	13,3%	12
Totaal		90

Tabel 2. Kritische blik

Kritische instantie
Wie kan naar uw mening (buiten uw eigen rekenkamer) het best de kwaliteit van de rekenkamer in het oog houden?

De onafhankelijke positie van de rekenkamer maakt de vraag wie de rekenkamer scherp moet houden niet eenvoudig. Natuurlijk kan gedacht worden aan raad, college of ambtelijke organisatie en zelfs aan de inwoners. Raad, college en ambtelijke organisatie hebben echter ook een eigen belang. Zullen zij adviezen geven om de kwaliteit en scherpte van de rekenkamer te vergroten als er net een zeer kritisch rapport is uitgebracht? Het betrekken van inwoners klinkt wel mooi. Maar in de praktijk zijn inwoners al lastig te betrekken bij lokale politiek en nog minder bij suggesties voor te houden rekenkameronderzoek. Inwoners laten oordelen over de kwaliteit van dat onderzoek is dan een nog lastiger opgave. Bovendien kunnen ook inwoners een belang hebben bij het onderzoek. Op de vraag wie de kwaliteit van de rekenkamer het best in het oog kan houden reageert men verdeeld. Van de steekproef wijst 40% naar de raad. Nog eens 40% wijst naar andere rekenkamers of naar de vereniging van rekenkamers (NVRR). Zie tabel 3.

Alternatieven	Percentage	Waarde
1 De inwoners van de betrokken gemeente	2,2%	2
2 De Gemeenteraad	40,0%	36
3 De NVRR	15,6%	14
4 Het Ministerie van Binnenlandse Zaken	8,9%	8
5 Collega rekenkamers	24,4%	22
6 Geen enkele instelling of organisatie	1,1%	1
7 Anders, namelijk:	7,8%	7
Totaal		90

Tabel 3. Kritische instantie

Versterking door visitaties
In de publieke sector wordt wel gewerkt met visitaties, onder andere bij de politie, ziekenhuizen en universiteiten. De organisatie stelt een eigen rapportage op. Dit dient als basis voor een bezoek van collega’s die vragen stellen en vervolgens met aanbevelingen komen. Denkt u dat een dergelijke visitatie voor rekenkamers onderling kan leiden tot versterking van uw rekenkamer?

In de publieke sector speelt hetzelfde dilemma op andere domeinen. Bij de politie, zorginstellingen en onderwijsinstellingen is gekozen voor een systeem van onderlinge visitatie (zie ook Van der Knaap en ritzen, 2000). Bij gemeenten zien we deze vorm van onderlinge visitatie terug bij bestuurskrachtmetingen (zie o.a. Korsten, 2004). Het proces bestaat vaak uit een zelfstudie op basis waarvan een visitatiecommissie een bezoek brengt en komt met een oordeel en aanbevelingen. Ook het visitatiesysteem in de universitaire wereld is volgens dit model opgebouwd. Van onze ondervraagden denkt een grote meerderheid (71,1%) dat een dergelijke vorm ook voor rekenkamers en rekenkamercommissies tot positieve resultaten zal leiden (zie tabel 4).

Alternatieven	Percentage	Waarde
1 Dat heeft zeker een positief resultaat	22,2%	20
2 Dat heeft waarschijnlijk een positief resultaat	48,9%	44
3 Weet niet/ Geen mening	4,4%	4
4 Dat is waarschijnlijk een overbodige procedure	17,8%	16
5 Dat is zeker een overbodige procedure	6,7%	6
Totaal		90

Tabel 4. Versterking door visitaties

Rol voor de NVRR
Welke rol ziet u voor de NVRR?

Dat veel rekenkamers visitaties noemen als geschikte vorm om zich de maat te laten nemen, hangt waarschijnlijk samen met het doel dat men voor ogen heeft. 30% van de ondervraagden vindt de uitwisseling van ervaringen het belangrijkste doel. Bijna 50% vindt het werken volgens kwaliteitsnormen voor rekenkameronderzoek het belangrijkste doel.
De voorliefde voor visitaties betekent overigens niet dat rekenkamerleden vinden dat er een strakke set van kwaliteitsnormen moet komen waarin alle aspecten van het rekenkameronderzoek zijn voorgeschreven. er is veeleer behoefte aan voorbeelden, handleidingen, ervaringen en technieken om zo het eigen onderzoek optimaal vorm te kunnen geven. De normen die nu gehanteerd worden voor de uitreiking van de jaarlijkse prijs voor het beste rekenkameronderzoek, de goudvink, zouden daarbij een rol kunnen spelen. Daarbij ziet men ook een rol voor de NVRR. in tabel 5 is aangegeven welke ondersteunende rollen de leden voor de NVRR zien weggelegd.

Alternatieven	Percentage	Waarde
1 Het beschikbaar stellen van voorbeelden, handleidingen, ervaringen en technieken	47,8%	43
2 Het formuleren van kwaliteitsnormen voor de rekenkamerfunctie	20,0%	18
3 Het uitoefenen van toezicht op de lokale rekenkamers en rekenkamercommissies	2,2%	2
4 Het organiseren van onderlinge visitaties	21,1%	19
5 De NVRR heeft geen actieve rol, naar behoefte organiseren we deze zaken zelf	8,9%	8
Totaal		90

Tabel 5. Rol voor de NVRR

Onderwerpen voor visitaties
Welke onderwerpen zou u belangrijk vinden bij het evalueren van een lokale rekenkamer?

De onderwerpen die volgens de respondenten tijdens een visitatie aan de orde zouden moeten komen zijn in de eerste plaats de kwaliteit van de onderzoeksrapporten en de doorwerking van de aanbevelingen (tabel 6).

Alternatieven	Percentage	Waarde
1 De kwaliteiten van de leden van de rekenkamer (onderzoekservaring, kennis van gemeenten, etc.)	16,9%	15
2 De vastgestelde regels (o.a. verordening, onderzoeksprotocol)	9,0%	8
3 De bedrijfsvoering van de rekenkamer (financiële huishouding, wijze van aanbesteding onderzoeken, etc.)	7,9%	7
4 De kwaliteit van de onderzoeksrapporten	71,9%	64
5 De waardering van College, Raad en ambtelijke organisatie	19,1%	17
6 De doorwerking van de aanbevelingen	46,1%	41
7 Anders, namelijk:	3,4%	3
Totaal		90

Tabel 6. Onderwerpen voor visitaties

Concluderend
Rekenkamerleden zijn in grote meerderheid overtuigd van het nut van een kritische blik op rekenkamers. De raad, collega-rekenkamers en de nVrr zien ze als belangrijkste partijen die het beste de kwaliteit van de rekenkamer in het oog kunnen houden. een grote meerderheid van de respondenten ziet wel iets in het instrument van de onderlinge visitatie, waarin enkele algemene kwaliteitsnormen zijn vastgesteld. De visitaties hebben als belangrijk voordeel dat ze de uitwisseling van ervaringen mogelijk maken. De aandacht dient volgens de respondenten bij de visitaties vooral gericht te zijn op de kwaliteit van de uitgebrachte rapporten en de doorwerking van de aanbevelingen van de rekenkamer.
De Nederlandse Vereniging van Rekenkamers en Rekenkamercommissies (NVRR) zou dit proces van visitaties kunnen initiëren onder zijn leden. Voor 2010 heeft de staatssecretaris van Binnenlandse Zaken een evaluatie aangekondigd van de dualisering, inclusief aandacht voor de rol van rekenkamers. een onderling systeem waarbij lokale rekenkamers elkaar scherp houden, kan valkuilen van zelfgenoegzaamheid, oude gewoonten, eenvormigheid en voorspelbaarheid voorkomen. De start van een praktijk van (onderlinge) visitaties zou bij deze evaluatie een belangrijke waarborg kunnen zijn voor goed functionerende rekenkamers. een interessante vraag is of deze visitaties vrijwillig moeten zijn, of een verplichtend karakter zouden moeten krijgen via wetgeving of gemeentelijke verordening.

Beide auteurs zijn verbonden aan de Tilburgse School voor Politiek en Bestuur (TSPB) van de universiteit van Tilburg. Prof. dr. C.(Cor) van montfort is daarnaast afdelingshoofd Publiekprivate sector bij de algemene rekenkamer, dr. L.(Leon)Th. van den Dool coördineert ook het onafhankelijk onderzoek bij gemeenten en provincies voor de adviesgroep binnenlands bestuur van PriceWaterhouseCoopers.

Literatuur

Kaufmann, F.X., G. Majone and V. Ostrom, 1986, Guidance, Control and Evaluation in the Public Sector, Berlin & New York: Walter de Gruyter & Co., pp. 625-643.
Knaap, J.W.M. van der en PGJ. Ritzen, 2000, ‘Visitatiecommissies’, In: Bestuurskunde 9(5): 219-226.
Korsten, A.F.A., 2004, ‘Visiteren van gemeentebesturen’, In: Bestuurswetenschappen 58(4): 305-323.
Laswell, Harold D., 1949, ‘The Democratic Character’, In: The Political writings of Harold D. Laswell, Glencoe, Illinois. Pages 465-525.
Laswell, Harold D., 1951, ‘The Policy Orientation’, In: The Policy Sciences, edited by Daniel Lerner and Harold Laswell, Palo Alto, California, Stanford University Press, Pages 3-15.
Rekenkamercommissie Utrecht, ‘Wordt gevolgd. Vijf onderzoeken van de rekenkamercommissie Utrecht getoetst op resultaat’, Utrecht, januari 2004.

Wildavsky, Aaron, 1979, The Art and Craft of Policy Analysis. Speaking truth to power, Macmillan Press, pp. 401-406.