Meer effect door meer dan onderzoek alleen?

18 april 2014 om 13:46 door Anneke Holwerda 0 reacties

De Algemene Rekenkamer bestaat als instituut 200 jaar. Maar als de Algemene Rekenkamer ook in de toekomst een instituut wil zijn dat ertoe doet, moet zij blijven investeren. In dit artikel staan de auteurs stil bij de manieren waarop de Algemene Rekenkamer probeert het functioneren en presteren van het openbaar bestuur te verbeteren.

“Analytisch vermogen, creativiteit, inventiviteit, doorzettingsvermogen en goede sociale vaardigheden zijn eigenschappen die (...) een belangrijke rol spelen. Dat heeft, hoe verschillend de hedendaagse praktijk ook is vergeleken met die van een aantal jaren geleden, voor de Rekenkamer in haar (...) bestaan tot op zekere hoogte altijd gegolden en zal in de toekomst niet veel anders zijn.”

Deze passage was het slot van het hoofdstuk over de controlepraktijk in het gedenkboek bij het 175-jarig bestaan van de Algemene Rekenkamer. Weinig nieuws onder de zon lijkt het, want ook nu ziet de Rekenkamer deze eigenschappen graag terug bij de medewerkers. Het grote verschil met 25 jaar geleden is echter dat die vaardigheden worden ingezet voor heel andere producten en typen interventies.

Ontwikkelingen in interventies
We signaleren de afgelopen decennia twee ontwikkelingen:

Naast toetsen en oordelen wil de Algemene Rekenkamer nadrukkelijker dan voorheen óók bijdragen aan beter functioneren en beter bestuur.
Om dat te bereiken brengt de Algemene Rekenkamer niet alleen rapporten uit, maar maakt zij ook gebruik van een steeds breder wordend scala aan andere interventievormen.

Midden jaren negentig startte de Rekenkamer een project onder de titel Meer dan onderzoek alleen. Als je effectief wilt zijn en toegevoegde waarde wilt hebben, dan is goed onderzoek doen belangrijk, maar dat is niet voldoende. Ook andere interventies zijn dan nodig. Over het type interventies moet goed nagedacht worden, liefst in samenspraak met de stakeholders, zoals departementen, zelfstandige bestuursorganen, parlement en andere organisaties en instellingen waarop de Algemene Rekenkamer een effect wil hebben. Wat doe je op welk moment? Start je een onderzoek of voer je een gesprek? Breng je een rapport uit aan de Tweede Kamer of schrijf je een brief aan het betreffende departement? Wil je het rapport groot in de media of werkt dat juist contraproductief? Wil je een thema voor langere tijd op de agenda houden of volstaat een eenmalige klapper? Werken we samen met andere kennisinstellingen of doen we het alleen? Hoe ziet het krachtenveld eruit en wie zijn onze medestanders? Willen we aan de voorkant van het beleid zitten of beleid juist achteraf beoordelen? En als we een onderzoek doen, is dat dan gericht op het bieden van overzicht (een beschrijvend onderzoek), of juist toetsend? Ligt de nadruk in de publicatie op tekst of op beeld?

De projecten Meer dan onderzoek alleen, later gevolgd door Effectieve Rekenkamer en zijn opvolgers Effectieve Rekenkamer 2 en Effectieve Rekenkamer 3, waren alle opgezet vanuit de gedachte dat voor het bereiken van een zo groot mogelijk effect er bewust omgegaan wordt met een bepaald type interventie. De laatste jaren gebruikt de Algemene Rekenkamer meer en meer het woord ‘impact’ in plaats van ‘effectiviteit’.

Voorbeelden: impact van onderzoeken
In 2013 publiceerde de Algemene Rekenkamer het rapport Contractmanagement bij DBFMO-contracten. Dat rapport leidde tot een stroom toezeggingen van ministers, waaronder de toezegging van de minister van Financiën om de informatievoorziening aan de Tweede Kamer te verbeteren. Andere ministers deden toezeggingen om de beheersing van de uitvoering van de contracten te verbeteren en om de evaluatie van beleid te verbeteren. Het onderzoek leidde verder tot een recensie in een vakblad en uitnodigingen voor lezingen bij zowel publieke als private partijen (zoals een groot bouwbedrijf en een consultancybureau). De impact van dit onderzoek was dus vooral te zien in (toegezegde) verbeteringen in de uitvoering en de verantwoording, en in de exposure in relevante netwerken.

Naar aanleiding van het rapport Publieke organisaties en private activiteiten uit 2012 paste de minister van Infrastructuur en Milieu de toezichtvisie van dat ministerie aan. Ook speelde het rapport een rol in het Kamerdebat over de toekomst van ‘instellingen op afstand’. En ook dit rapport leidde tot een fors aantal presentaties, lezingen, gastcolleges et cetera, waarbij de onderzoeksresultaten in relevante netwerken onder de aandacht werden gebracht. Daarnaast wordt de redeneerlijn uit het rapport nu ook door onder andere, lokale rekenkamers gehanteerd. De impact was hier dus vooral te zien op het gebied van toezicht, wetgeving en het ondersteunen van andere partijen (lokale rekenkamers).

Het rapport Kunnen basisscholen passend onderwijs aan? (2013) leidde tot Kamervragen, een motie en veel publiciteit. Daarnaast bleek de timing van essentieel belang te zijn: op de dag van publicatie was er ook een Algemeen Overleg over passend onderwijs, waardoor er meteen een politiek debat over het rapport gevoerd kon worden. Ook de branchevereniging voor primair onderwijs gebruikt het rapport. Verder raakte dit rapport een thema dat ook het grote publiek aangaat. Op verschillende internetfora werd een levendige discussie gevoerd over het rapport.

Een reeks van rapporten over de mate waarin ministeries evalueren en beeld hebben van de effectiviteit van hun beleid (Leren van subsidie-evaluaties uit 2011, Effectiviteitsonderzoek bij de rijksoverheid uit 2012 en 2013), leverde veel discussie op met ministeries in hoeverre een compleet beeld van de effecten van beleid eigenlijk mogelijk is en aan welke eisen dat soort onderzoek moet voldoen. Uit de gesprekken met ministeries bleek dat er veel behoefte is aan kennis over de wijze waarop je effecten in beeld kunt brengen. De Algemene Rekenkamer heeft die handschoen opgepakt en inmiddels hebben een kleine tweehonderd ambtenaren workshops van de Algemene Rekenkamer bijgewoond over evalueren. Dit heeft de kennis over evalueren vergroot, voor bewustwording gezorgd van het belang van evalueren en ook het besef vergroot dat er vroeg in het beleidsproces al nagedacht moet worden over het meten van effectiviteit.

Het onderzoek Prestaties in de strafrechtketen (2012) kreeg veel aandacht in media, de Tweede Kamer en in de strafrechtketen zelf. Ook nu, bijna twee jaar later, wordt nog met regelmaat verwezen naar dit rapport in discussies en debatten en zijn of worden maatregelen getroffen om de door de Algemene Rekenkamer gesignaleerde problemen op te lossen. Het rapport heeft bij betrokkenen onder meer gezorgd voor meer inzicht in de wijze waarop in de keten zaken met elkaar samenhangen en het besef vergroot van het belang van een goede informatiehuishouding in de keten. De boodschap van de Rekenkamer kwam qua timing op een goed moment omdat er binnen het ministerie van Veiligheid en Justitie al acties werden ondernomen die versterkt ter hand konden worden genomen, met volle politieke druk.

Wat is een effectief rapport of een rapport met impact?
De vragen ‘Zijn we effectief?’ en ‘Hoe kunnen we effectiever worden?’ zijn terechte en voor de hand liggende vragen. Maar ook vragen die ingewikkelder te beantwoorden zijn dan op het eerste gezicht lijkt. Vanaf het begin van het denken over een effectievere rekenkamer met een gevarieerder productenpakket, was er ook discussie over wat dat dan precies is, een ‘effectieve’ rekenkamer. Wij pleiten voor een brede invulling van effectiviteit (impact), omdat het effect van het werk van de Rekenkamer en de bijbehorende interventies nu eenmaal vaak niet eenvoudig te meten zijn, omdat er veel indirect gebeurt of omdat pas op de lange termijn veranderingen optreden.

We onderscheiden verschillende ‘gradaties’ in impact als gevolg van rekenkamerinterventies, bijvoorbeeld:

Beleid is veranderd
Uitvoering is veranderd
Toezicht is veranderd
Relevante actoren zijn bediend
Onderwerp is geagendeerd
Aandacht en interventies in relevante netwerken

Uit bovenstaande recente voorbeelden blijkt dat ons gevarieerde pakket aan interventies zijn vruchten lijkt af te werpen. De redenen van succes lijken al net zo gevarieerd als de interventies zelf, maar vooral de combinatie van timing van de interventie en responsiviteit (inspelen op behoeften) lijkt de sleutel tot succes te zijn.

Valkuilen
Toch is een waarschuwend woord op zijn plaats. Soms lijkt er namelijk sprake van effectiviteit, maar is er bij nader inzien iets anders aan de hand. We staan stil bij drie valkuilen voor het denken over een effectieve rekenkamer:

Aandacht is niet gelijk aan effect
Schijneffect van de overgenomen aanbevelingen
Ongewenste neveneffecten van onze aanbevelingen

1 Is aandacht effect?

Stel dat een Kamerbriefing over een nieuw rapport goed wordt bezocht, dat er vragen in de Tweede Kamer worden gesteld, dat de minister toezeggingen doet en dat de pers veel aandacht heeft voor het rapport. Is de Rekenkamer dan effectief? Niet per se. Maar al te vaak zien we dat er door media en politieke partijen geshopt wordt in de bevindingen en dat er vervolgens een debat op gang komt dat allang niet meer gaat over de boodschap van het rekenkamerrapport.

2 Schijneffect
Een andere valkuil is dat we effectiviteit afmeten aan de mate waarin de minister of een bestuur van een rechtspersoon met een wettelijke taak (RWT) de aanbevelingen van de Algemene Rekenkamer overneemt. We weten dat als dat geen wezenlijk doorleefde en geaccepteerde stap is (maar: “Het moet van de Rekenkamer”), deze uiteindelijk niet leidt tot blijvende verbeteringen.

3 Ongewenste neveneffecten
Een derde valkuil is dat onze aanbevelingen leiden tot meer bureaucratie en papierwerk, terwijl daar maar een klein positief effect in termen van betere prestaties tegenover staat. Het is kenmerkend dat veel van onze rapporten aanbevelingen bevatten die oproepen tot meer weten en meer vastleggen, en zelden een oproep tot ‘minder’ bevatten.

Wat we eigenlijk bedoelen met een effectieve rekenkamer of impact van onze onderzoeken is ‘gewenst’ effect en ‘gewenste’ impact. Dat betekent dat we goed moeten nadenken over wat we precies willen met ons onderzoek. Bij elk project en bij elk onderzoek moeten we vooraf stilstaan bij de vraag wat voor soort verbetering in het functioneren en presteren van het openbaar bestuur we nastreven. De brede waaier aan interventies die is ontstaan sinds Meer dan onderzoek alleen, via De Effectieve Rekenkamer 1, 2 en 3 tot aan het denken in termen van impact, uit zich in bijvoorbeeld handreikingen, posters, online databestanden (zoals VO-online), GIS-kaarten, trainingen en twinnings, maar is alleen van waarde als dat leidt tot het gewenste effect.

Streven naar effect
Natuurlijk helpen timing en responsiviteit bij het bereiken van het gewenste effect, maar vaak is het ook geluk of trial-and-error. Zo bleek een beeld (poster) van de spooruitgaven (2011) onverwacht een uiterst effectieve manier om de complexiteit van geldstromen te laten zien. Daarna heeft de Algemene Rekenkamer dat middel voor meer doeleinden aangewend: bijvoorbeeld in 2010 voor de poster over financiële stromen in het basisonderwijs. Een andere manier om de effectiviteit te vergroten is door een thema meerdere jaren op de politieke agenda te houden door gedurende enkele jaren periodiek met ‘uitingen’ over dat onderwerp te komen. Zo heeft de Algemene Rekenkamer rondom het dossier voor de vervanging van de F-16 (beter bekend als het ‘JSF-dossier’) een aantal publicaties uitgebracht die een duidelijke rol hebben gespeeld in de debatten in de Tweede Kamer over de aanschaf van de JSF. Ook rondom het thema ‘zwerfjongeren’ is een aantal publicaties uitgebracht dat dit onderwerp op de politieke agenda heeft geplaatst.
Het helpt om een ruime definitie van ‘effect’ of ‘impact’ te hanteren. Het is niet zo belangrijk om bijvoorbeeld te proberen vast te stellen tot hoeveel minder zwerfjongeren het rekenkamerrapport heeft geleid. Het is bij zo’n repeterende aanpak belangrijker dat een onderwerp op de politieke agenda komt en blijft en dat rekenkamercijfers een rol spelen in het politieke debat.

Een stap verder dan het aan de orde stellen van een onderwerp voor meerdere jaren, is programmatisch werken. Dat houdt in dat gedurende een aantal jaren gewerkt wordt aan de opbouw van deskundigheid, zichtbaarheid, agendering en invloed. Een bekend voorbeeld van zo’n meerjarenprogramma is het programma rondom ‘Toezicht en verantwoording bij rechtspersonen met een wettelijke taak’. Na het eerste agenderende rapport over zelfstandige bestuursorganen in 1996 (‘Wildgroei’) heeft de Algemene Rekenkamer ruim vijftien jaar aandacht voor dit thema gehad.1 Een van de mensen die de Algemene Rekenkamer al jarenlang op dit dossier volgt is Kaspar van den Ham, secretaris van de Handvestgroep Publieke Verantwoording (www.publiekverantwoorden.nl). Hij merkt op dat de reeks Verantwoording en toezicht bij rechtspersonen met een wettelijke taak uiteindelijk heeft geleid tot beter beschreven en gehandhaafde kaders in de verticale verantwoordingslijn. “Zo heeft de Rekenkamer een bedoeld stevig effect gehad in mijn werkwereld tussen beleid, uitvoering en toezicht”, aldus Van den Ham. Hij constateert ook dat de Algemene Rekenkamer gelukkig geen ivoren toren meer is en zich bewust is van de veranderingen in de maatschappij waarin burgers, bedrijven maar ook medeoverheden de rijksoverheid en de eraan gelieerde RWT’s meer en meer als nevengeschikt zien. Dit heeft zijn effect op de verantwoordingsbehoefte van die rijksoverheid en de RWT’s aan die maatschappij.

De toekomst
Nog niet eens zo heel lang geleden bracht de Algemene Rekenkamer maar twee rapporten per jaar uit (juni- en decemberverslag) waarin verslag werd gedaan van het onderzoek dat dat jaar was gedaan. Gaandeweg is de Algemene Rekenkamer per onderzoek een rapport gaan publiceren en daardoor zichtbaarder geworden in het politieke debat en in de media. Steeds vaker is de Algemene Rekenkamer proactief in debatten aanwezig, omdat zij thema’s en onderwerpen oppakt die partijen door de politieke waan van de dag laten liggen. Daarbij maakt zij steeds meer gebruik van sociale media als Twitter en LinkedIn, en van andere vormen van presenteren zoals de eerder genoemde posters, maar ook bijvoorbeeld van webinars.

Als de Algemene Rekenkamer ook in de toekomst een instituut wil zijn dat ertoe doet, moet zij binnen haar taakopdracht en wettelijke positie blijven investeren in de combinatie van kwaliteit, gezag, zichtbaarheid, responsiviteit en timing. De Rekenkamer moet daartoe naar ons idee drie zaken oppakken.

Op de eerste plaats moet de Algemene Rekenkamer streven naar een mix van enerzijds inspelen op actuele situaties en anderzijds de tijd nemen om onderwerpen uit te diepen die niet in het centrum van de politieke belangstelling staan, maar die vanuit het oogpunt van goed openbaar bestuur net zo relevant zijn. Deze twee sporen stellen eisen aan hoe de Algemene Rekenkamer werkt: het werken met programma’s en meerjarige thema’s – denk aan de activiteiten rond de houdbaarheid van de overheidsfinanciën, de terugkerende producten op het terrein van de EU, de eerder genoemde JSFproducten – maakt het mogelijk om op basis van actuele kennis van het terrein steeds goed in te kunnen spelen op de politieke agenda. Dat brengt wel met zich mee dat de Algemene Rekenkamer zich vaker en openlijker in politieke debatten mengt. Het daarnaast ook thema’s willen adresseren die nu niet hot zijn maar wel heel relevant, vereist een strategische keuze en een scherp intern debat.

Ten tweede heeft de Algemene Rekenkamer door de verschuiving van controleur naar ‘verbeteraar’ van het openbaar bestuur haar exclusieve domein verlaten en is zij actief op een veld waarop ook anderen opereren. Het is in onze ogen daarom onvermijdelijk dat de Algemene Rekenkamer meer dan nu gebruikmaakt van door anderen verzamelde kennis en meer samenwerkt met andere kennisproducenten zoals lokale rekenkamers, planbureaus, universiteiten en adviesbureaus. Coproductie – uiteraard met behoud van de eigen rol en positie – is ook voor de effectieve (en efficiënte) rekenkamer essentieel. Alleen in coproductie kunnen kennisbronnen en perspectieven op een zinvolle manier worden gecombineerd.

En last but not least zou de Algemene Rekenkamer zo goed mogelijk gebruik moeten maken van nieuwe media, visualisatietechnieken2 en webdossiers om boodschappen nog eenvoudiger en sneller onder de aandacht te brengen van degenen die er iets mee moeten of willen. We zullen toe moeten groeien naar een multimediale rekenkamer waarbij niet alleen nieuwe, maar ook traditionelere uitingen worden ingezet, gericht op de gewenste effectiviteit van de interventie.

Met deze drie veranderingen zou de Algemene Rekenkamer goed toegerust een toekomst tegemoet kunnen treden waarin zij meerwaarde heeft en effectief kan zijn.

Drs. Frank van den Broek is sectormanager Doelmatigheids- en Doeltreffendheidsonderzoek en Europese Unie bij de Algemene Rekenkamer. Prof.dr. Cor van Montfort is projectleider-specialist publiek-private sector bij de Algemene Rekenkamer en bijzonder hoogleraar ‘Goed bestuur bij publiek-private arrangementen’ aan de Universiteit van Tilburg. De auteurs hebben het artikel op persoonlijke titel geschreven.

Noten
1 Het rapport Verantwoording en toezicht bij organisaties op afstand van het Rijk; Achtergronddocument 2012 geeft een beeld van de stand van zaken in 2012.
2 Zie bijvoorbeeld de TED-lezingen over statistiek van Hans Rosling. Zie ook de manier waarop het NRC via een interactieve landkaart per wijk in Nederland in beeld bracht hoeveel er van sociale regelingen gebruik gemaakt wordt. Deze informatie kan waardevol zijn bij onderzoek naar de effecten van bezuinigingen of decentralisaties in het sociale domein (NRC 13-12-2013).