Methodische en politiek-bestuurlijke aspecten van provinciaal en lokaal rekenkameronderzoek

Met ingang van 1 januari 2005 is de instelling van een rekenkamer een wettelijke vereiste voor provincies. Voor gemeenten geldt hetzelfde sinds 1 januari 2006. Alle provincies en vele gemeenten hebben inmiddels aan de wettelijke verplichting voldaan en kennen een eigen rekenkamer(functie). Enkele provincies hebben zelfstandig een rekenkamer geformeerd. De meeste provincies werken samen in gemeenschappelijke rekenkamers. Ook een aantal gemeenten heeft zelf een rekenkamer of rekenkamercommissie ingesteld. Relatief veel gemeenten werken regionaal samen bij de totstandkoming van een gemeenschappelijke rekenkamer of rekenkamerfunctie.1

De instelling van gemeentelijke en provinciale rekenkamers wordt wel beschouwd als het sluitstuk van het duale stelsel. In dat stelsel is de rekenkamer het instrument van respectievelijk de gemeenteraad en provinciale staten. Het duale stelsel is nog volop in ontwikkeling. In veel gemeenten is inmiddels een raadsgriffier benoemd naast de gemeentesecretaris/ directeur van de gemeentelijke organisatie.
Met de gemeenteraadsverkiezingen van 7 maart 2006 in het vooruitzicht bereiden de meeste gemeenten zich voor op de verdere invulling van het duale systeem. Er gaan wel stemmen op dat de instelling van het instituut rekenkamer te vroeg komt omdat het duale systeem nog niet volledig is geïmplementeerd. Daartegenover kan worden gesteld dat er ook al gemeenten zijn die inmiddels 14 jaar ervaring hebben met een rekenkamer.2 Inmiddels is ten minste één rekenkamer systematisch geëvalueerd en de resultaten daarvan zijn bemoedigend te noemen.3 En ook is aandacht besteed aan de doorwerking van rekenkameronderzoek.4 De productie aan onderzoeksrapporten van alle rekenkamers is aanzienlijk. Wie op internet zoekt kan relatief eenvoudig 300 rapporten downloaden.

Al met al kan men stellen dat het proces van institutionalisering van het fenomeen lokale en provinciale rekenkamer volop aan de gang is en dat de vooruitzichten bemoedigend zijn. Belangrijke kenniscentra voor betrokkenen in dit proces zijn de Nederlandse Vereniging van Rekenkamers en Rekenkamercommissies (NVRR) en de Lokale Rekenkamer BV.

Rekenkameronderzoek als een variant van beleidsonderzoek
Rekenkameronderzoek is een vorm van beleidsonderzoek die zich in het bijzonder richt op rechtmatigheid, doelmatigheid en doeltreffendheid van het gevoerde beleid. Rekenkameronderzoek onderscheidt zich op vier punten van sociaal-wetenschappelijk beleidsonderzoek:

1. Het betreft vrijwel uitsluitend om ex post onderzoek.
2. Het maakt expliciet gebruik van normen.
3. Het is gericht op oordeelsvorming en/of leren.
4. Er is sprake van belangentegenstelling door de diversiteit aan actoren.

Bij deze karakterisering van het rekenkameronderzoek op basis van vier kenmerken kunnen gemakkelijk vragen opgeworpen worden. Hieronder worden de vier kenmerken uitgewerkt.

Ad 1. Ex post onderzoek
Vrijwel alle tot nu toe uitgebrachte studies en rapporten van lokale rekenkamers zijn te typeren als ex post onderzoek. Slechts in enkele gevallen is ex ante onderzoek verricht: onderzoek waarbij de vraagstelling gericht is op komende en mogelijke beleidsontwikkelingen (strategische beleidsvorming, toekomstscenario’s en dergelijke). Door de aanhoudende budgettaire druk, de druk die vanuit burgers en andere stakeholders wordt uitgeoefend en de verdere institutionalisering van het duale stelsel is er meer dan ooit behoefte aan ‘onderzoek in de ruimste zin’ bij de ontwikkeling van programma’s voor begroting en meerjarenbegroting. Het gaat daarbij om ex ante onderzoek zoals de formulering van strategische visies, het bepalen en beoordelen van mogelijke effecten van beleidsmaatregelen en om het doorrekenen van programma’s. Met name wat betreft de bepaling van mogelijke beleidseffecten en het doorrekenen van programma’s kan men stellen dat de nodige onafhankelijke expertise bij provincies en gemeenten nog niet aanwezig is. In dit verband is het doordenken van een provinciale of gemeentelijke pendant van wat op rijksniveau de planbureaus zijn, wenselijk. Een zekere clustering van werkzaamheden is daarbij noodzakelijk om het kwaliteitsniveau van dit soort onderzoek te borgen.

Ad 2. Gebruik van normen
Van cruciaal belang is de ontwikkeling van een normenkader. De essentie bij rekenkameronderzoek is het toetsen aan normen. Zonder normen zijn oordeelsvorming en het trekken van conclusies vrijwel uitgesloten. Vanaf de start van het onderzoek moet de onderzoeker zich ervan bewust zijn dat aan de bevindingen ook een oordeel verbonden moet worden. De volgorde in het rekenkameronderzoek is daarom logischerwijs als volgt: normbeschrijving, bevindingen middels empirisch onderzoek, conclusies en oordeelsvorming.

Ad 3. Oordeelsvorming en/of leren
Rekenkameronderzoek mondt uit in een oordeel over het gevoerde beleid. Sociaal-wetenschappelijke onderzoekers moeten wennen aan dit kenmerk van het rekenkameronderzoek. In het debat over het belang en de betekenis van lokale rekenkamers ontwikkelen zich twee stromingen, een die oordeelsvorming voorop stelt, een andere die het leerproces benadrukt. Wij staan op het standpunt dat in ieder geval oordeelsvorming voorop moet staan. Het leerproces kan in het verlengde van het onderzoek op diverse manieren worden vormgegeven.
Het formuleren van aanbevelingen in rapportages van rekenkamers is niet zo vanzelfsprekend als bij sociaal-wetenschappelijk beleidsonderzoek. Het is evident dat met name binnen de stroming waar leren centraal staat aanbevelingen wel cruciaal zijn.

Ad 4. Belangentegenstellingen door diversiteit aan actoren
Hier speelt de discussie over beleidsrelevantie van het onderzoek versus de onafhankelijkheid van onderzoek. Voorstanders van rekenkamercommissies waarbij ook raadsleden zijn betrokken benadrukken dat dit format bijdraagt aan beleidsrelevantie en daarmee aan de doorwerking van rekenkameronderzoek. Keerzijde van deze stellingname is dat relatief gevoelige thema’s buiten schot kunnen blijven. Voorstanders van rekenkamerfuncties met louter externe leden en zeker voorstanders van onafhankelijke rekenkamers redeneren omgekeerd: een volledig vrije keuze van onderzoeksonderwerpen is een noodzakelijke waarborg voor het eigenstandige oordeel dat een rekenkamer zich moet kunnen vormen. Deze optie verdient inderdaad de voorkeur. Rekenkamers moeten zelf kunnen bepalen welke onderwerpen onderzocht worden en ze maken zelf een jaarprogramma of een overzicht van onderzoeksprogrammering.
Het is uiteraard verstandig om heel nadrukkelijk te luisteren naar de wensen van de raad. Afspraken en goed overleg kunnen de effectiviteit van de onderzoeken gunstig beïnvloeden. Bij rekenkameronderzoek zijn vaak veel actoren betrokken die belang hebben bij het onderzoek maar daarop geen of weinig invloed hebben. De gemeenteraad, B&W, betrokken gemeentelijke diensten, burgers en media kunnen tegenstrijdige belangen hebben bij specifiek onderzoek. De mogelijkheid van invloedsuitoefening blijft aanwezig. Er valt overigens een gunstige trend waar te nemen: in toenemende mate treden de raadsleden in rekenkamercommissies terug ten gunste van externe leden. Door deze ontwikkeling worden rekenkamercommissies daadwerkelijk onafhankelijker.

Aandacht voor kwaliteit
Van belang voor de ontwikkeling en de positie van lokale rekenkamers op korte en lange termijn is de kwaliteit van de rapporten. De inhoud van de rapporten van een rekenkamer of rekenkamercommissie dient onomstreden te zijn. De politiek-bestuurlijke omgeving van een rekenkamer is turbulent.5 Dat kan in de praktijk betekenen dat er behoefte bestaat aan kortlopend onderzoek of quick scans. Om het belang en de betekenis van rekenkamers te benadrukken kan het gewenst zijn ook relatief snel en kortlopend onderzoek te verrichten. Dan nog blijft het gewenst om extra aandacht te schenken aan de kwaliteit van de gegevens en van het oordeel. Dit impliceert dat rekenkamers wel degelijk ook minder omvangrijk en minder tijdrovend onderzoek verrichten, maar dat dit in geen geval mag uitmonden in ‘quick en dirty’ onderzoek.

De kwaliteit van de rapportages van de rekenkamers en rekenkamercommissies kan worden versterkt door:

• de instelling van regionale rekenkamers, zodat provincies en gemeenten een instituut met meer onderzoekscapaciteit en specialisaties kunnen ontwikkelen;
• de rekenkamercommissies samen te stellen uit externe leden, inclusief een externe voorzitter;
• het onderzoek uit te besteden aan onderzoeksbureaus met specifieke expertise op het terrein van ex post evaluatieonderzoek;
• in de aanloopfase van een onderzoek relatief veel aandacht te besteden aan de selectie van het onderwerp en de opzet van het onderzoek, inclusief de probleemstelling;
• kennis te nemen van rapporten van andere rekenkamers over gelijksoortige onderwerpen en problemen – uiteraard niet om het onderzoek te kopiëren maar om van ervaringen te leren.

Methodische knelpunten en problemen
Kwalitatief hoogwaardige en onafhankelijke rapportages zijn voor rekenkamers een conditio sine qua non. Dat punt is in het voorgaande voldoende belicht. Maar zoals bij elk beleidsonderzoek zijn er knelpunten en problemen bij het verrichten van rekenkameronderzoek. Met de volgende problemen krijgen alle rekenkamers te maken.

Verkrijgen van informatie
De meest gebruikte bronnen van informatie bij rekenkameronderzoek zijn:

• inhoudsanalyse van relevante documenten;
• secundaire analyse van bestaande documenten;
• vraaggesprekken met sleutelfiguren;
• rondetafelgesprekken met bewoners;
• enquêtes.

Allereerst is uiteraard de medewerking van betrokken actoren van cruciale betekenis voor de geldigheid en betrouwbaarheid van de informatie en dus voor de kwaliteit van het onderzoek. Zeker bij onderzoek waar het functioneren van provinciale of gemeentelijke diensten en bedrijven in het geding is, vereist het nogal wat tact en vaardigheid van de onderzoekers om de gewenste informatie te verkrijgen. Niet voor niets is de term ‘afrekencultuur’ in zwang geraakt voor rekenkameronderzoek – overigens een kwalificatie die rekenkameronderzoek niet verdient.
Het is evident dat betrokken actoren die optreden als informanten in het rekenkameronderzoek in de gelegenheid zijn om informatie te manipuleren door gebrekkige informatie te verstrekken, door informatie achter te houden, of door informatie te kleuren. Het is aan de onderzoeker om door gebruik van meerder informanten en door gebruik van meer dan één informatiebron (triangulatie) te verkregen informatie op betrouwbaarheid en geldigheid te controleren.

Onderzoeksafbakening
Van belang zijn duidelijke afspraken over de opzet van het onderzoek, inclusief de probleemstelling (doelstelling en vraagstelling). Dat belang is gelegen in de bepaling van de duur (doorloopsnelheid) en de kosten van het onderzoek. In de praktijk van het lopende onderzoek stuit men dikwijls op interessante nieuwe knelpunten en problemen in de organisatie, hetgeen gemakkelijk kan leiden tot uitbreiding van het onderzoek. De directie van een rekenkamer dient de voortgang van het onderzoek te bewaken.

Onduidelijke normen
Indien de relevante normen vastliggen in begrotingen, meerjarenramingen of beleidsdocumenten is het onderzoek relatief eenvoudig uit te voeren. Normen betreffen getallen dan wel omschrijvingen van beoogde resultaten of te verwachten effecten. Normen liggen soms vast in regels, in beleidsstukken of in formele documenten. In veel onderzoekssituaties ontbreken eenduidige normen of zijn normen vaag geformuleerd of, nog erger, volledig afwezig. Niet zelden is een onderwerp op de onderzoeksagenda gekomen omdat er voortdurend is gedebatteerd over normen. Een beoefenaar van rekenkameronderzoek moet dan alsnog zelf normen formuleren op basis van ervaring of wat redelijkerwijs verwacht mag worden, of op basis van bijvoorbeeld een vergelijking (benchmark) met andere provincies of gemeenten.

Veronderstelde causaliteit
In het huidig stramien van programmabegrotingen en productenramingen worden naast de inputs ook de activiteiten, prestaties en effecten in beeld gebracht. Tezamen vormen zij een structuur die de logica van beleidsinterventies moet verduidelijken en als basis moet dienen voor allocatiebeslissingen. Essentieel bij deze beleidsontwerpen is de veronderstelde causaliteit tussen het handelen, de prestaties en de gevolgen. In de praktijk zie je dat het vaak ontbreekt aan duidelijke beleidstheorieën (vgl. Anderson en Klaassen 20056). Dit probleem vertaalt zich direct in een knelpunt voor het rekenkameronderzoek. Daar zal immers een vorm van beleidsreconstructie moeten plaatsvinden die potentiële verbanden in beeld brengt; achteraf zal onderzocht moeten worden of de beleidseffecten een resultante zijn van de gepleegde beleidsinspanningen. Doet men dit niet, dan valt men in dezelfde kuil als de (optimistische) beleidsmaker en de functie van het rekenkameronderzoek is nu juist om dat te vermijden. Maar in de praktijk van het rekenkameronderzoek zal het moeilijk zijn om dit alles te realiseren. Het is al een groot winstpunt als in rekenkameronderzoek op heldere wijze wordt geconstateerd dat er in het beleidvormingstraject geen of te weinig aandacht is besteed aan causale verbanden.7

Praktijkgericht onderzoek
Rekenkameronderzoek is praktijkonderzoek.8 Dit impliceert dat de uitkomsten van het onderzoek specifiek van toepassing zijn op de betrokken provinciale of gemeentelijke casus. Dat heeft directe gevolgen voor de opzet van het onderzoek en voor een aantal relevante beslissingen ten aanzien van de selectie van documenten en te voeren interviews. Dat heeft ook implicaties voor de generaliseerbaarheid van de onderzoeksbevindingen. In beginsel zijn de uitkomsten van provinciaal en lokaal rekenkameronderzoek niet generaliseerbaar. Uiteraard zijn er wel mogelijkheden om in een vervolgonderzoek de uitkomsten te veralgemeniseren, maar dat vereist een nieuw onderzoek, met een nieuwe probleemstelling en nieuwe onderzoeksopzet.

Conclusies
De institutionele inbedding van relatief veel provinciale en lokale rekenkamers en rekenkamercommissies begint langzamerhand vorm te krijgen. In sommige gemeenten bestaat de rekenkamer inmiddels 8 jaar. Voor de provincies geldt 1 januari 2005 als startdatum, en de gemeenten zijn wettelijk verplicht om sinds 1 januari 2006 over een rekenkamer of rekenkamerfunctie te beschikken. De bestuurlijke positie is in veel provincies en gemeenten nog onwennig.
Van belang voor een succesvolle ontwikkeling van dit nieuwe instrument voor provinciale staten en gemeenteraden is aandacht voor onafhankelijk en kwalitatief hoogwaardig onderzoek. Rekenkameronderzoekers krijgen te maken met enkele specifieke problemen. In het bijzonder de selectie of de formulering van normen voorafgaand aan het onderzoek is eigen aan rekenkameronderzoek. De onderzoeker wordt bovendien geconfronteerd met de noodzaak een oordeel te formuleren over het gevoerde beleid. Dat vereist een specifieke onderzoekshouding. Tot slot krijgt de onderzoeker te maken met bijzondere aspecten van dataverzameling, omdat betrokken informanten zelf sleutelpersoon of stakeholder zijn in het betreffende beleidsveld.

De provinciale en gemeentelijke rekenkamer kan op termijn een belangrijke bijdrage leveren aan het vergroten van het vertrouwen van de burger in het overheidsfunctioneren. In het proces van dualisme tussen gemeenteraad enerzijds en B&W en gemeentelijke organisatie anderzijds kan de rekenkamer of de rekenkamercommissie een cruciale rol vervullen. De controlefunctie van de raden kan nadrukkelijk worden versterkt.

Door de aanwezigheid van rekenkamers in provincies en gemeenten kan tevens worden bereikt dat de kwaliteit van de begrotingen verbetert. Door het besef dat in een evaluatiefase nadrukkelijk gerefereerd zal worden aan concrete normen kan een programmabegroting daar tijdig in voorzien.

Dr. H.L. Klaassen en dr. J.L.M. Hakvoort zijn beiden universitair hoofddocent bestuurskunde aan de Erasmus Universiteit Rotterdam.

Noten
1 In dit artikel wordt gemakshalve de term ‘rekenkamer’ gehanteerd, ook waar een variant van een rekenkamerfunctie bedoeld kan zijn.
2 Bruno Steiner Advies, Inventarisatie van onderzoek door gemeentelijke en provinciale rekenkamer(functie)s, rekeningcommissies en evaluatiecommissies van 1991 tot medio 2004. Eindrapportage in opdracht van Binnenlandse Zaken en Koninkrijksrelaties, Den Haag 2004.
3 Evaluatiecommissie Rekenkamer Rotterdam, ‘Gedreven en vasthoudend’. Evaluatie Rekenkamer Rotterdam 1998-2001, Erasmus Universiteit Rotterdam, mei 2002.
4 J.B. Zijlstra, Een rimpeling in de vijver. Het gebruik van adviezen van de gemeentelijke rekenkamers van Enschede en Nijmegen. Afstudeerscriptie, Faculteit Managementwetenschappen, Open Universiteit 2005.
5 Chantal de Bont & Robert Mul, Bestuurlijke positie van lokale Rekenkamers, in: Openbaar Bestuur, 2001-1, pp.15-18.
6 R.J. Anderson en H.L. Klaassen, De valkuil van het BBV, in: TPC, jaargang 3, nummer 4, 2005.
7 Een goed voorbeeld zijn de onderzoeken van de Rotterdamse Rekenkamer. Zie onder andere het artikel van Bovens en Molenaar, Zicht op doelen, prestaties en effecten van beleid, in: TPC, jaargang 3, nummer 5, 2005.
8 W. de Schipper, De betekenis van lokale rekenkamers, in: Tijdschrift Public Controlling, december 2004, pp. 10-13.