Public audit en de decentrale rekenkamer

Om een indruk te geven van de omvang van de decentrale rekenkamers: de Nederlandse vereniging van rekenkamers telt momenteel 223 leden.¹ Daarmee is in enkele jaren een groot potentieel toegevoegd aan de verantwoordingskant bij de decentrale overheden. Per jaar produceren die rekenkamers ieder gemiddeld één à twee onderzoeken, zodat het totaal aan onderzoeksrapporten jaarlijks al gauw tussen de drie- en vierhonderd moet liggen.

Zo’n enorme extra investering in kennis en transparantie rechtvaardigt de vraag waar de grootste toegevoegde waarde ligt van die decentrale rekenkamers voor de publieke verantwoording van de overheid. Die vraag naar de toegevoegde waarde leeft zeker in rekenkamerland. Ik sluit me aan bij de discussierichting die pleit voor meer onderzoek naar value for money van het overheidsoptreden. Meer onderzoek naar beleidseffectiviteit is nodig om de kennisleemte op te vullen en om te voorkomen dat de opbrengst van rekenkameronderzoek naar de interne organisatie langzaam maar zeker afneemt. De wettelijke taakomschrijving van decentrale rekenkamers zet bovendien op het spoor naar meer beleidsonderzoek. Een risicoanalyse van het beleid kan de weg wijzen naar zwakke plekken in het overheidsfunctioneren en de basis zijn voor een beredeneerde onderwerpkeuze. Kennisvermeerdering zowel over overheidsfunctioneren als over methodische aspecten van effectiviteitsonderzoek met goede praktijkvoorbeelden maken betere beleidsevaluatie mogelijk. Decentrale rekenkamers kunnen bijdragen aan de kwaliteit van het openbaar bestuur door in hun aanbevelingen daarop te concentreren.

Onderzoekspraktijk

In rekenkamerland is een elementaire discussie gaande over de taak van de decentrale rekenkamers: met welke kennis zijn de overheden het best gediend en wat zouden de rekenkamers daaraan kunnen bijdragen? Ik zie twee uitersten in die takendiscussie.

1. De eerste opvatting haakt aan bij de klassieke rekenkamertaak, namelijk de wettelijke verplichting tot goedkeuring van de rijksrekening; deze richt zich op bevordering van de rechtmatigheid van bestuurlijk handelen en deugdelijk financieel beheer. De onderzoeksonderwerpen worden daarbij gezocht in het domein van de interne organisatie, de centrale cyclus van Planning en Control en de controle op de accountantscontrole. Voorbeelden van onderwerpen zijn de kwaliteit van de jaarstukken, de onderbouwing van de accountantscontrole, de interne bedrijfsvoering, de administratieve organisatie en de interne controle, de interne informatievoorziening, de informatie aan de gemeenteraad e.d.
2. De tweede opvatting richt zich op de doeltreffendheid van overheidsbeleid; deze traditie van rekenkamerhandelen is in de loop van de tachtiger jaren van de vorige eeuw bij de Angelsaksische rekenkamers ontwikkeld en door andere Westerse landen overgenomen. Het kenmerk van deze taakopvatting is het zoeken van een antwoord op de vraag wat de burger met het overheidshandelen opschiet en waar de toegevoegde waarde van het ingrijpen of de investering van de overheid ligt. De onderwerpen hiervoor dienen zich aan door bij de onderwerpkeuze te beginnen bij de effecten of prestaties die zichtbaar zijn voor burgers (als het ware van buiten de overheid naar binnen denken). Mogelijke onderwerpen zijn de vermindering van slachtoffers bij een onderzoek naar het verkeersveiligheidsbeleid, de effecten van welzijnsbeleid voor doelgroepen. Redenen voor het falen van het beleid kunnen liggen in de interne organisatie, maar die vormt niet de primaire focus van het onderzoek; dat zijn de uitkomsten van het beleid.

Waaraan zouden de rekenkamers nu hun aandacht en schaarse middelen het beste kunnen besteden? Waar ligt de grootste toegevoegde waarde? Ik wil hier pleiten voor meer aandacht voor de effectiviteit van beleid, het van buiten naar binnen denken op zoek naar het antwoord op de vraag: worden de doelen van het beleid werkelijkheid en wat schiet de burger dus op met zijn overheidsbestuur?

Redenen voor effectiviteitsonderzoek

Ik zie drie redenen voor mijn pleidooi voor meer effectiviteitsonderzoek:

1. gebrek aan kennis over effecten van overheidsbeleid;
2. de marginale opbrengst van meer van hetzelfde soort onderzoek;
3. de wettelijke taakomschrijving van de rekenkamers in Nederland

De drie redenen licht ik hierna verder toe.

Kennisgebrek
Ik zie bij de decentrale overheid een groot gebrek aan informatie over de resultaten van beleid. Overheidsorganen kiezen maar zelden voor een nieuw beleid omdat het vorige niet effectief genoeg bleek te zijn, maar veelal vanwege een roep uit de achterban, een bevlogen wethouder, een voorkeur in het ambtelijk apparaat, vanuit een historische verklaring (we doen het altijd zo) of vanwege landelijk uitgedacht beleid dat als voorwaarde geldt voor extra middelen. Of daarmee in het nieuwe beleid rekening wordt gehouden met faalfactoren uit het ‘oude’ beleid is meer toeval dan rationaliteit. Die constatering pleit voor

• meer inzicht in maatschappelijke problemen;
• meer inzicht in de prestaties/effecten van overheidsingrijpen;
• een lerend vermogen van de overheid.

Door het evaluatiemoment over te slaan ontstaat ook het risico voor stapeling van beleid.² De overheid kiest dan niet voor het meest effectieve of meest urgente instrument, maar lanceert na elkaar allerlei beleidsinitiatieven en laat de vorige bestaan. Het onderwijsveld bijvoorbeeld klaagt al jaren daarover. Het besluit van de Tweede Kamer om een onderzoek te starten naar het functioneren van het middelbaar onderwijs lijkt erop te wijzen dat het tij keert.

Ook de collegeverplichting om periodiek de doelmatigheid en doeltreffendheid te beoordelen³ leidt in de praktijk vooral tot onderzoek gericht op de interne organisatie van de overheid, te weinig of niet gericht op de externe prestaties en effecten.

Opbrengst
De landelijke rekenkamer hanteert de lijn, dat de interne organisatie eerst op orde moet zijn alvorens de overstap naar meer geavanceerd inzicht in externe resultaten mogelijk is. Aan die stelling valt niet te tornen. Informatie over externe beleidseffecten vooronderstelt inderdaad een goed werkende interne organisatie. De conclusie dat je als rekenkamer dús daarom eerst moet blijven hameren op de interne organisatie – zoals de landelijke rekenkamer doet – deel ik niet. Het gevaar van die lijn is dat er altijd intern iets te verbeteren is en je de overstap naar externe effecten niet maakt. De conclusie dat je als rekenkamer het voorbeeld moet geven en beargumenteerde onderwerpen kiest voor gedegen effectenonderzoek is evenzeer, zo niet beter te verdedigen. Op die manier kun je laten zien wat de toegevoegde waarde van het bepleite onderzoek kan zijn.

Wettelijke taak
Alle rekenkamers kennen uiteraard een wettelijke basis voor hun bestaan en taak. Opvallend is het verschil in wettelijke taakomschrijving tussen die van de landelijke rekenkamer en de decentrale rekenkamers. De wetgever heeft voor de landelijke rekenkamer eerst de rechtmatigheid en controle van de verantwoording genoemd en dan pas de doeltreffendheid en doelmatigheid van beleid.⁴ Voor de decentrale rekenkamer heeft hij gekozen voor de drieledige taakstelling: doelmatigheid, doeltreffendheid en rechtmatigheid van het gevoerde bestuur in die volgorde.⁵ Voor de decentrale rekenkamers staat de doelmatigheid en doeltreffendheid van bestuur dus vooraan in de taakomschrijving; bij de landelijke rekenkamer achteraan. Die volgorde is geen toeval. De wetgever heeft gemeend dat de doelmatigheid en doeltreffendheid primaire onderzoeksobjecten voor de decentrale rekenkamers zijn.⁶ Zij kúnnen rechtmatigheidsonderzoek verrichten maar niet als rechtmatigheidstoets in het kader van de jaarlijkse verantwoording. Met een verwijzing naar de onafhankelijkheid van de accountant bij decentrale overheden tegenover het college van B&W/Gedeputeerde Staten leek het de wetgever gerechtvaardigd de rekenkamers in die taak geen rol te geven.

Die omkering van taakomschrijving pleit bij de decentrale rekenkamers voor meer gerichtheid op onderzoek naar de beleidseffectiviteit en minder op onderzoek naar de jaarverantwoording en accountantscontrole.

Strategische keuze

De keuze voor meer effectenonderzoek geeft wel richting, maar nog geen strategische keuze voor onderzoeksterreinen, laat staan voor onderwerpen. Hoe kom je nu tot een strategische keuze voor het werk van de rekenkamer? Daarvoor zijn diverse methoden denkbaar (afdekking van het terrein, cyclische aanpak, actuele ontwikkelingen, instrumenteel). Het belangrijkste is dat er goede argumenten en unanimiteit in de rekenkamer zijn voor de keuze. Ik werk er één uit met hulp van een risicoanalyse van het onderzoeksterrein. Te denken valt dan aan drie stappen:

1. uitgangspunt is ‘aanjagen’;
2. risicoanalyse van het veld;
3. keuze van onderzoeksterreinen en onderwerpen.

Aanjagen
De rekenkamer zou als uitgangspunt een ‘aanjaagfunctie’ moeten hebben. Dat houdt in dat hijzelf niet allerlei taken standaard moet gaan doen, maar beredeneerde keuzes maakt om zijn schaarse middelen in te zetten. Het succes van de rekenkamer zit er dan in dat andere organen van de overheid het onderzoek met een regelmaat gaan overnemen. Een voorbeeld zou kunnen zijn dat de rekenkamer de kwaliteit van de begroting beoordeelt en het gekozen orgaan dat overneemt door jaarlijks de begroting aan de hand van een ‘verbeterparagraaf’ te evalueren.

Risicoanalyse
De keuze van onderzoeksonderwerpen zou beargumenteerd moeten gebeuren. Rekenkamers maken keuzes veelal impliciet. Leidend zijn dan de krachtenverhoudingen binnen de rekenkamer of de voorkeur van de leden. Dat hoeft geen probleem te zijn en kan prima resultaten opleveren maar het gevaar is dat de rekenkamer zich vooral concentreert op iets waarvoor geen noodzaak voor of behoefte aan bestaat.

Behoefte in bestuurlijke kring is niet hetzelfde als wat het gekozen orgaan wil.⁷ Ik deel niet de mening dat de rekenkamer zo dicht bij de volksvertegenwoordiging gaat staan dat die het laatste woord heeft in de programmering.⁸ Behoefte is in mijn ogen een meer objectief gegeven dat moet blijken uit een gedeelde analyse. De wil van het gekozen orgaan volgen draagt het risico in zich dat vooral de draagvlakafweging een rol speelt en de objectieve behoefte uit het oog verloren wordt. Wat het gekozen orgaan wil is anderzijds wel relevant voor de effectiviteit van de rekenkamer en zijn rapporten. Bij een spanning tussen objectieve en subjectieve behoefte is het toch een kwestie van ‘schipperen’ door te blijven luisteren en beredeneerd sommige gevraagde onderwerpen over te nemen.⁹

Het ideale argument voor een onderzoeksonderwerp is naar mijn mening gebaseerd op een analyse, geredeneerd vanuit de maatschappelijke risico’s. De VROM-inspectie propageerde bijvoorbeeld enkele jaren geleden de zogenaamde Nalevingstrategie die van buiten (problemen en risico’s voor de leefomgeving) naar binnen (plan interventie, organisatie, evaluatie) redeneerde.¹⁰ Ik zie om praktische redenen een rekenkamer hiertoe nog niet komen voor het gehele bestuursterrein van een decentrale overheid. Toch zou ik op onderdelen van een gemeentelijke of provinciale overheid hiervoor wel willen pleiten met hulp van bijvoorbeeld een expertpanel. Deze exercitie levert geen kwantitatieve studie naar risico’s binnen het bestuursgebied op, maar wel meer inzicht op basis van educated guess.

Een alternatieve methode redeneert vanuit het bestuursinstrumentarium van de overheid. Met een globale analyse van bijvoorbeeld de jaar- en beleidsstukken op de aanwezigheid van elementaire beleidsinformatie zou de rekenkamer beargumenteerd kunnen kiezen. Het uitgangspunt is dan de vraag in welke mate de lokale overheid zicht heeft op de maatschappelijke problemen waarvoor men staat en welke resultaten het ingrijpen tot gevolg heeft gehad. De kwaliteit van die informatie kan een goed argument zijn voor nader onderzoek door de rekenkamer.

Keuze van onderwerpen
Een beargumenteerde keuze van onderwerpen op basis van een risicoanalyse (zie hierboven) levert voor de rekenkamer ‘witte vlekken’ in het functioneren van het overheidsorgaan op. Dat beeld moet leidend zijn voor de verdere keuzes voor onderzoek. De rekenkamer kiest dan op welke manier hij het beste de sturing en controle van het centrale bestuursorgaan kan verbeteren door zich op de zwakke plekken te concentreren.

Effectiviteitsonderzoek

Kwaliteitseisen
Onderzoek van rekenkamers en dus ook onderzoek naar de beleidseffectiviteit beoordeelt wel het beleid, maar mag niet de politiek-bestuurlijke uitgangspunten ter discussie stellen. De reden is natuurlijk dat het politiek primaat gerespecteerd dient te worden. Dat uitgangspunt impliceert dat volledig transparant na te volgen moet zijn waarop de beoordeling door de rekenkamer gebaseerd is. De bestuurlijke keuzes voor beleidsdoelen dienen in de effecitiviteitsbeoordeling als uitgangspunt gekozen te worden en het overheidsingrijpen en de effectiviteit daarvan aan de beleidsdoelen afgemeten te worden. Er is een uitzondering mogelijk, bijvoorbeeld wanneer de ene maatregel contrair staat op de andere van een en dezelfde overheid of van overheden op verschillend niveau.¹¹

Rekenkameronderzoek dient bovendien uit te gaan van een helder en beargumenteerd normenkader. Algemeen geaccepteerd uitgangspunt is dat de conclusies volledig navolgbaar dienen voort te vloeien uit de ‘confrontatie’ van normen en bevindingen: de zogenoemde eerste-ordeconclusies. Dit onderzoeksuitgangspunt wil nog wel eens afwijken van de meer consultancygeoriënteerde rapporten die uitgaan van een meer vrij explorerende denkrichting om nieuw beleid te ontwikkelen. Onderzoek van een rekenkamer dient in zijn conclusies veel dichter bij de bevindingen te blijven.

Rekenkameronderzoek kan in zijn eind- of tweede-ordeconclusies wel een meer toekomstgerichte stap zetten maar met de beperking dat die dicht bij de oorspronkelijke bevindingen moeten blijven. De rekenkamer moet niet op de stoel van de beleidsmaker gaan zitten. Wel mag de rekenkamer op mogelijke verbeteringen wijzen of potentiële problemen in organisatie en maatschappij wijzen die uit het onderzoek gebleken zijn en die actie van de bestuurder vereisen.

Methodiek
Er wordt veel gewezen op methodische problemen bij beleidsevaluatie. Die problemen hangen samen met de eis dat de maatschappelijke resultaten wel een oorzakelijk en bewijsbaar verband moeten hebben met de overheidsmaatregelen. De quasi-experimentele onderzoekmethode door met een controlegroep en een voor- en nameting te werken is meestal niet goed mogelijk. Vaak ontbreekt de informatie voor dergelijke evaluaties omdat bij de beleidsvorming geen rekening met de evaluatiebehoefte wordt gehouden. Toch pleit ik voor meer beleidsevaluatie onder het motto, beter iets dan niets. Bovendien blijkt uit ervaring dat er toch wel mogelijkheden zijn.

Hoe is meer en beter effectiviteitsonderzoek mogelijk?

Het laatste decennium heeft in het teken gestaan van internationale concurrentie en verplichte innovatie op straffe van economische neergang. Die discussie heeft geleerd dat ontwikkeling en innovatie gedijen bij communicatie over de grenzen heen (fysiek, cultureel, psychologisch) en door sectoren met elkaar te verbinden. Misschien kunnen we als rekenkamers daarvan leren en over onze grenzen heenstappen. Ik zie diverse mogelijkheden van grensoverschrijdend leren:

1. Boor bestaande kennis aan over het functioneren van decentrale overheden. Denk bijvoorbeeld aan alle kennis die bij landelijke inspecties aanwezig is over decentrale overheden en landelijke planbureaus over de maatschappelijke situaties. Wanneer regionale of stedelijke situaties in die studies niet te herkennen zijn zou nadere detaillering en differentiatie misschien mogelijk zijn. Er bestaat overigens al het nodige materiaal, zie bijvoorbeeld een initiatief onder www.watdoetjegemeente.nl .
2. Ontwikkel een monitoringsysteem van gemeentelijke evaluaties en onderzoek à la art. 213a Gemeentewet. Dit zou de basis kunnen worden van ‘vooronderzoek’ voor decentrale rekenkamers. Dat gaat niet vanzelf omdat dat uitgangspunt meer extern effectenonderzoek vooronderstelt en meer openbaarheid voor dit soort onderzoeken.
3. Maak onderling bekend wat er aan goede initiatieven in rekenkamerland, bij andere kennisinstituten, inspecties en bij de commerciële bureaus aanwezig is. De rekenkamervereniging heeft hiervoor een initiatief lopen in de vorm van een werkgroep die goede effectenstudies poogt te propageren en bekend te maken en daarvoor breder contact zoekt.
4. Vergroot de professionaliteit van onderzoek door de onderzoekers te professionaliseren. De wetenschap, de landelijke rekenkamer en rekenkamers in andere landen hebben meer ervaring met onderzoek en kunnen hun kennisbronnen openstellen. De Erasmus Universiteit Rotterdam heeft een toegankelijk curriculum ontwikkeld voor ‘rekenkameronderzoek’. De rekenkamervereniging wijst al jaarlijks het beste onderzoek aan onder rekenkamers in Nederland (de Goudvinkprijs).

Verbetering openbaar bestuur

Wanneer je de overzichten aan rekenkameronderzoek beziet, blijkt er veel kaf onder het koren. Niet alles wat doeltreffendheidsonderzoek heet is dat ook.¹³ Veelal blijven rekenkamers hangen in de constatering dat het college van B&W/ Gedeputeerde Staten niet beschikken over de nodig effecteninformatie. Deze constatering is wel relevant omdat die organen dan niet tot sturing in staat zijn wegens gebrek aan informatie over effecten ‘op straat’. Maar beter zou het zijn wanneer de rekenkamer doorstoot naar een eigen effectuitspraak op onderdelen en praktisch laat zien waarvoor dat inzicht nodig is en waarom het zinvol is.

Rekenkamers voeren SMART-C-analyses uit op beleid. Die beoordeling kan goede informatie opleveren over de consistentie van de keten problemen – doelen – instrumenten en daarmee over de doelgerichtheid van beleid. Blijven hangen in die constatering gaat naar mijn mening niet ver genoeg.¹⁴ Een verklaring voor het weinig doelgerichte karakter van beleid kan gezocht worden in de maatschappelijke dynamiek (bijv. draagvlak, uitvoerbaarheid) of in de politiek-bestuurlijke uitgangspunten (bijv. beschikbare middelen). Het zoeken van verklaringen kan de discussie in het gekozen orgaan verder helpen.¹⁵ Het zorgt ervoor dat het orgaan niet met de constatering over de gebrekkige doelgerichtheid van beleid blijft zitten, maar weet wat het verder moet.

Een rekenkameronderzoek zou af moeten sluiten met aanbevelingen op drie niveaus:

1. op inhoudsniveau (hoe beleidseffectiviteit te verbeteren);
2. op structuurniveau (hoe informatiesystemen op orde te krijgen);
3. op bestuurlijk niveau (terugkoppeling effectinzicht in beleidsontwikkeling).

Aanbevelingen op deze niveaus verschaffen mogelijke verbetering in het inzicht om wellicht anders te gaan handelen, verbetering in de organisatie zodat later beleidsevaluatie makkelijker mogelijk is en op bestuurlijk niveau zodat daarmee de politiek/bestuurlijke organen gediend zijn die uiteindelijk de kwaliteit van het openbaar bestuur moeten realiseren.

Gert Kortenbach is secretaris van de rekenkamercommissie te Den Haag.

Noten:
¹ Zie www.nvrr.nl
² Tussen beleid en uitvoering, Algemene Rekenkamer, 2003, zie www.rekenkamer.nl
³ art. 213a Gemeentewet.
⁴ art. 82 – 85 Comptabiliteitswet.
⁵ art.182 Gemeentewet en art. 183 Provinciewet
⁶ TK 2000 – 2001, 27 751 nr. 3 pp. 46 en 70.
⁷ Gemeenteraad, provinciale staten, waterschapsraad.
⁸ Het betoog van D.J. Elzinga tijdens het jaarcongres van rekenkamers in Amersfoort 2007.
⁹ Zie bijvoorbeeld de rekenkamer Rotterdam die zo’n 50% van de jaarcapaciteit beschikbaar houdt voor raadsverzoeken.
¹⁰ Zie onder VROM.nl
¹¹ Een historisch voorbeeld is een sloopsubsidieregeling in de vrachtvaart in de tachtiger jaren, die tegelijkertijd van kracht was met de wet op de investeringsrekening (WIR) die met een (negatieve) belastingtechniek investeringen juist aanmoedigde.
¹² Lezing door inspecteur Anthonie de Kemp in 2007 voor de vereniging van inspecteurs en evaluatoren (Vide).
¹³ Zie ook www.nvrr.nl
¹⁴ De wens en de gedachte, Rick Anderson, 2007.
¹⁵ De lokale rekenkamer kan zoveel beter, Van Stipdonk, 2007.