Transparante overheid: verantwoording èn validatie

3 oktober 2012 om 16:09 door Eline Vree, Henriëtte Boerma 0 reacties

Aan de vooravond van de provinciale verkiezingen heeft de provincie Zuid-Holland de realisatie van de doelstellingen uit het Coalitieakkoord 2007-2011 gepresenteerd in de Terugblik collegeperiode 2007-2011. Deze Terugblik is een voorbeeld van een transparante overheid. De Randstedelijke Rekenkamer heeft een deel ervan beoordeeld op relevantie, controleerbaarheid en juistheid door middel van een interactief validatieproces.

Recent heeft de provincie Zuid-Holland verantwoording afgelegd over de realisatie van de doelstellingen uit het Coalitieakkoord 2007- 2011 en deze verantwoording laten valideren door de Randstedelijke Rekenkamer. Gedurende een interactief validatieproces heeft de provincie in samenwerking met de Randstedelijke Rekenkamer de eerste stappen gezet richting een volwassen verantwoording over de behaalde resultaten. Dit artikel bericht over het validatieproces en de leerervaringen voor toekomstige verantwoordingen. Aan bod komen de belangrijkste conclusies en aanbevelingen uit de validatie en tips voor toekomstige verantwoordingen. De ervaringen die zijn opgedaan bij de provincie kunnen andere overheden inspireren om ook deze stap te zetten.

Zoals gebruikelijk stellen coalitiepartners bij gemeenten, provincies en het Rijk bij aanvang van een nieuwe collegeperiode een coalitieakkoord op. Minder gebruikelijk echter is het om aan het einde van de collegeperiode de resultaten van het coalitieakkoord gestructureerd te presenteren en deze terugblik vervolgens te laten valideren. De gemeente Rotterdam is een voorloper in de verantwoording over behaalde beleidsresultaten. Sinds 2006 doet het college van B & W van Rotterdam jaarlijks verslag over de bereikte resultaten bij de collegedoelstellingen. Dit verslag wordt ieder jaar gevalideerd door de Rekenkamer Rotterdam. Helaas is er tot dusverre nog weinig navolging op de gemeente Rotterdam. Zo’n verantwoording betekent dat je je kwetsbaar opstelt en laat zien wat je doet en waarom je het doet, wat goed gaat en wat minder goed gaat. En waar je als overheid wel en geen invloed op kan uitoefenen. Maar door de toenemende vraag naar verantwoording en de aangekondigde bezuinigingen bij de overheid lijkt verantwoorden over de resultaten van coalitieakkoorden onomkeerbaar.
Recent heeft de provincie Zuid-Holland een nieuwe best practice opgeleverd. Dit artikel beschrijft hoe in samenwerking met de Randstedelijke Rekenkamer de eerste stappen zijn gezet richting een volwassen verantwoording over de behaalde resultaten. Dit artikel wil een lans breken om als overheid verantwoording af te leggen over de gemaakte plannen en gedane beloften uit het coalitieakkoord. Enerzijds omdat het er uiteindelijk om gaat wat we met elkaar aan concrete resultaten bereiken. Anderzijds om transparantie en daarmee de betrouwbaarheid van de overheid te vergroten.

Provinciale Staten vraagt om evaluatie en validatie
In het Coalitieakkoord 2007-2011 ‘Duurzaam denken, dynamisch doen’ hebben gedeputeerde Staten (GS) van Zuid-Holland de doelstellingen van de provincie beschreven. Naar aanleiding van een tussentijdse evaluatie over de voortgang van de doelstellingen uit het coalitieakkoord hebben de Provinciale Staten (PS) een motie aangenomen ook een eindevaluatie op te stellen.
Maar de motie van PS ging nog verder. Om als PS de resultaten goed te kunnen beoordelen, dient de gepresenteerde informatie van voldoende kwaliteit te zijn. PS hebben daarom de Rekenkamer verzocht deze verantwoording te valideren. Op deze wijze verantwoording afleggen over afspraken uit het coalitieakkoord en deze ook nog laten valideren, komt nog zelden voor in het openbaar bestuur en is zeker bij provincies uniek. Statenlid Hillebrand (PvdA), mede ondertekenaar van de motie, verwoordde het als volgt: “Het hoort bij modern en transparant bestuur om de burger uit te leggen wat er met zijn belastinggeld gebeurd is.” De Rekenkamer onderschrijft deze visie en heeft het onderzoek dan ook met instemming ontvangen en uitgevoerd.
Dat de Rekenkamer dit verzoek krijgt is overigens niet vreemd. Rekenkamers zijn bij uitstek geschikt om zich een oordeel te vormen over informatie over behaalde resultaten in relatie tot de gestelde doelstellingen. Hun onafhankelijke positie en onderzoeksbevoegdheden stellen hen in staat om zo nodig door te vragen en informatie op waarde te schatten. maar ook in het versterken van de publieke verantwoording is een rol weggelegd voor Rekenkamers. Bij de validatie van de resultaten van het coalitieakkoord komen deze rollen samen.

De Terugblik
De rapportage is opgesteld door GS onder de naam Terugblik collegeperiode 2007-2011 (hierna Terugblik). Hierin rapporteren GS over de realisatie van de doelstellingen uit het Coalitieakkoord 2007- 2011. In de Terugblik passeren allerlei onderwerpen de revue: de Provinciale Structuurvisie, het programma Provincie-Nieuwe-Stijl en allerlei projecten variërend van de Zandmotor ter versterking van de Westlandse kust, de ontwikkeling van een klimaatbestendige Zuidplaspolder, de komst van nieuwe autowegen en wandel- en fietspaden tot het werken aan een betere luchtkwaliteit in Zuid-Holland.

Interactieve onderzoeksmethode
Bij de validatie van de Terugblik is gekozen voor een interactieve methode met de opstellers van de Terugblik. Het interactieve aspect zit hem erin dat tijdens het validatieproces geconstateerde onjuistheden of onduidelijkheden in de Terugblik zijn aangepast en opgelost. Ervaringen met de validatie van het collegeprogramma in de gemeente Rotterdam hebben geleerd dat voorkomen moet worden dat discussie ontstaat tussen de Rekenkamer en het college over de ‘kleurtjes’ (het eindoordeel) bij de behaalde resultaten. Onduidelijkheid over de betrouwbaarheid van de informatie doet afbreuk aan waar de discussie werkelijk over zou moeten gaan, namelijk over de redenen waarom een doelstelling wel of niet is behaald. Daarom is het uitgangspunt geweest om te streven naar een positief oordeel over de relevantie, controleerbaarheid en juistheid van de behaalde resultaten. Dit betekende dat de tekst van de Terugblik niet statisch was. De tekst is op punten aangepast ten einde de relevantie te vergroten en/ of de tekst controleerbaar en juist te maken. Deze aanpak vergt van de onderzoekers en de provincie veel onderlinge afstemmingen en een tijdsintensief proces, maar leidt wel tot het meest bevredigende eindresultaat, namelijk een betrouwbare evaluatie die (beleids)discussies mogelijk maakt.

Bij de provincie Zuid-Holland is Tanja Verbeeten Strategisch beleidsadviseur op de afdeling Bestuur. Vanuit de rol van coördinator van de Terugblik is zij met de organisatie aan de slag gegaan om de resultaten te formuleren en een rapportage hierover op te stellen. Verbeeten zegt over de onderzoeksaanpak: “De interactieve onderzoeksaanpak heeft waardevolle leerervaringen voor de organisatie opgeleverd. De kwaliteit van de Terugblik is verhoogd en medewerkers zijn zich meer bewust van het belang en de methodiek van een goede verantwoording. De provincie heeft de interactieve werkwijze als zeer constructief en professioneel ervaren.”
Op verzoek van de Statencommissie Bestuur en Middelen bij de behandeling van de Terugblik en de validatie hebben PS overigens ook inzage gekregen in alle aanpassingen die plaats hebben gehad ten opzichte van de eerste conceptversie. Op deze wijze kunnen PS ook in detail volgen tot welke aanpassingen de interactieve werkwijze heeft geleid.

Norm	Criterium
De resultaten uit de Terugblik zijn relevant in relatie tot de doelstelling	De verantwoorde resultaten zijn naar aard gelijk aan de gestelde doelstellingen. De verantwoorde resultaten zijn volledig in relatie tot de gestelde doelstellingen. De verantwoorde resultaten zijn eenduidig, d.w.z. niet voor meer uitleg vatbaar. De verantwoorde resultaten zijn tijdspecifiek, d.w.z. het is duidelijk op welke periode ze betrekking hebben.
De resultaten uit de Terugblik zijn controleerbaar	De verantwoorde resultaten zijn te controleren op basis van registraties, brondocumenten, documentatie, onderbouwingen. De prognoses zijn te valideren op aannemelijkheid op basis van documentatie, gegevens uit eerdere periodes, onderbouwingen.
De resultaten uit de Terugblik zijn juist	De verantwoorde gerealiseerde resultaten zijn goed, correct. De verwachtingen over de toekomst zijn aannemelijk.

Het beoordelingskader

Selectie en validatie van doelstellingen
Doordat deze aanpak dusdanig arbeidsintensief is en een korte doorlooptijd kende, is er voor gekozen om niet de hele Terugblik te verifiëren. Er is een selectie van doelstellingen gemaakt waarbij een goede verdeling over verschillende beleidsthema’s (offensieven genoemd) en portefeuillehouders leidend was. In totaal zijn 18 doelstellingen in de validatie opgenomen, waaronder de doelstelling om 20 procent CO2-reductie te realiseren en de doelstelling om wachttijden in de jeugdzorg jaarlijks met een week te verminderen. Maar ook kwalitatief geformuleerde doelstellingen zoals verbeterde zoetwateraanvoer en sociale en hoogwaardige openbaar vervoer knooppunten zijn in de selectie betrokken. Bij deze 18 doelstellingen heeft de provincie 45 resultaten benoemd. De Rekenkamer heeft zich geen oordeel gevormd over de overige 40 doelstellingen. Het validatie- en leerproces voor de geselecteerde doelstellingen heeft echter voldoende aanknopingspunten geboden om rapportages over het coalitieakkoord in de toekomst te verbeteren. Alle resultaten binnen de geselecteerde doelstellingen zijn langs een beoordelingskader gelegd, waarbij per doelstelling is vastgesteld of sprake was van relevante, controleerbare en juiste resultaten. In onderstaande tabel is verduidelijkt wat met deze begrippen wordt bedoeld.

De bevindingen tijdens het validatieproces hebben geleid tot veel aanpassingen in de teksten en de kwaliteit van de teksten is hierdoor sterk verbeterd. Zie het kader voor een paar voorbeelden van aanpassingen in de Terugblik.

Voorbeelden van aanpassingen

Aanvullende informatie
De activiteiten van de organisatie zijn vaak breder dan alleen het uitvoeren van de beleidsdoelstelling. De opsteller is geneigd om over alle verrichte activiteiten verantwoording af te leggen in plaats van zich te beperken tot dat deel dat betrekking heeft op de realisatie van beleidsdoelstellingen. De aanvullende informatie geeft geen inzicht in de realisatie van de doelstellingen en leidt daarmee af van het werkelijk behaalde resultaat. Zo is bijvoorbeeld uit de Terugblik weggelaten dat de provincie een subsidie van zes miljoen beschikbaar heeft gesteld voor gemeentelijke doorstromingsprojecten van openbaar vervoer. Dit zijn weliswaar activiteiten van de provincie, maar gaf geen informatie over de realisatie van de doelstellingen.

Onduidelijke rol
Tijdens de validatie blijkt dat bij sommige resultaten de rol van de provincie niet duidelijk was, waardoor in het midden bleef wat de bijdrage van de provincie is bij de realisatie van de doelstelling. Deze onduidelijkheid is ontstaan bij het opstellen van het coalitieakkoord, waarin doelstellingen zijn opgenomen die buiten de directe invloedsfeer van de provincie vallen, bijvoorbeeld bij de sanering verspreid glas. De provincie maakt met gemeenten afspraken over het saneren van verspreid liggend glas. De gemeente voert de afspraken uit, de provincie draagt financieel bij, maar heeft verder weinig invloed op welke termijn de sanering daadwerkelijk plaats vindt. Dit is duidelijker toegelicht in de Terugblik.

Bewoordingen
In de resultaten kwamen op veel plaatsen weinig concrete of subjectieve bewoordingen voor, zoals ‘nagenoeg’, ‘ongeveer’, ‘eind 2010’, et cetera. Dit maakt het resultaat nauwelijks te valideren. In de definitieve Terugblik zijn veel van deze bewoordingen concreter gemaakt.

Van de validatie gaat een positieve werking uit. Het versterkt het vertrouwen van de lezer in de gepresenteerde resultaten. Immers, vanuit een onafhankelijke positie worden de verantwoorde resultaten tegen het licht gehouden en getoetst. maar ook het validatieproces op zichzelf geeft een positieve impuls binnen de organisatie. De organisatie wordt meegenomen in het validatieproces en daarmee doordrongen van de wens van het bestuur om betrouwbare informatie aan te leveren.
Verbeeten zegt over het validatieproces: “De validatie door de Randstedelijke Rekenkamer heeft de provincie geholpen om doelen en resultaten scherp te verantwoorden. Daarnaast heeft de validatie bijgedragen aan professionalisering van het verantwoordingsproces.”

Eindoordeel over de Terugblik
De uiteindelijke conclusie van het validatieproces door de Rekenkamer had betrekking op een selectie van 18 doelstellingen (met 45 resultaten) uit de definitieve Terugblik. De Rekenkamer heeft voor deze 18 doelstellingen, na een constructief verbeterproces en een aanzienlijk aantal aanpassingen, vastgesteld dat de verantwoording over de behaalde resultaten van voldoende kwaliteit is.
Voor de 18 gevalideerde doelstellingen voldoet de definitieve Terugblik grotendeels aan de daaraan te stellen eisen van relevantie, controleerbaarheid en juistheid. Op het gebied van de relevantie kunnen de resultaten bij een aantal doelstellingen nog verder worden aangescherpt. De minder relevante resultaten (6 van de 45 resultaten) hangen samen met het noemen van de ingezette middelen, projecten of voorbeelden die op zichzelf geen inzicht geven in de mate waarin de doelstelling is gerealiseerd. De controleerbaarheid en de juistheid van de resultaten bij de 18 doelstellingen zijn over het algemeen goed. een aandachtspunt zijn de opgaven van derden. De provincie beschikt niet altijd over voldoende garanties dat de gegevens van derden juist zijn.
De Terugblik is voor PS geschikt om een debat te voeren over de mate van realisatie van deze 18 doelstellingen. De genoemde bevindingen kunnen niet geëxtrapoleerd worden naar alle doelstellingen in de Terugblik, omdat de 18 doelstellingen van voldoende kwaliteit zijn geacht na een intensief leerproces en aanpassingen.

Behalve een eindoordeel over de Terugblik heeft het proces ook aanbevelingen opgeleverd voor toekomstige verantwoordingen. De aanbevelingen richten zich op de formulering van doelstellingen in het coalitieakkoord, het opstellen van spelregels voor het verantwoordingsproces en verdere inbedding van de doelstellingen in de planning- en controlcyclus zodat (tussentijdse) monitoring mogelijk wordt.
Daarnaast heeft de Rekenkamer een aantal aanbevelingen gedaan om de kwaliteit van rapportages in de toekomst te verhogen. Concreet gaat het daarbij om de volgende aanbevelingen:

Gebruik maken van concrete formuleringen en bewoordingen in de verantwoording, zodat duidelijk is welk resultaat is behaald en het resultaat ook te valideren is.
Indien de doelstelling niet is gehaald, alleen rapporteren over de reden waarom de doelstelling niet is gehaald. andere informatie is minder relevant.
Intern vaststellen dat de gerapporteerde resultaten juist en onderbouwd zijn.
De betrouwbaarheid van opgaven van derden, waarop behaalde resultaten zijn gebaseerd, door een onafhankelijke partij (laten) verifiëren.
In de rapportage onderscheid te maken tussen daadwerkelijke realisatie en contextinformatie, zodat in één oogopslag inzichtelijk is wat de realisatie is.
Verwachtingen vermijden die niet met voldoende zekerheid te valideren zijn.
Beknopte verslaggeving over behaalde resultaten in relatie tot de doelstellingen.

De selectie van de gevalideerde resultaten heeft veel aanknopingspunten opgeleverd om het proces in de toekomst te verbeteren. De belangrijke eerste stap is gezet door het afl eggen van verantwoording over de mate waarin doelstellingen uit het coalitieakkoord zijn bereikt en dit te laten valideren. Het afl eggen van verantwoording over doelstellingen is een leerproces. De organisatie staat ervoor open om met deze ervaringen aan de slag te gaan en een volgende stap te zetten. Daarnaast hebben PS de aanbevelingen van de Randstedelijke Rekenkamer unaniem overgenomen.

Doet goed voorbeeld volgen?
Er is een voorzichtige tendens zichtbaar waarbij overheden verantwoording afleggen over beleidsdoelstellingen. De provincie Zuid-Holland is de eerste provincie die de stap heeft gezet om transparant te rapporteren over de resultaten van het coalitieakkoord èn deze rapportage te laten valideren. De Terugblik is door PS met veel waardering ontvangen. “PS hebben hun waardering uitgesproken voor het lef van gS om kritisch naar hun eigen resultaten te kijken”, zegt Tanja Verbeeten over de behandeling van de Terugblik in de Statenvergadering.
De ervaringen die opgedaan zijn bij het opstellen van deze eerste Terugblik en het validatieproces bij de provincie kunnen andere overheden inspireren om ook deze stap te zetten. Dit goede voorbeeld van een transparante overheid doet hopelijk goed volgen.

Tips voor toekomstige verantwoordingen

Tip 1. Spelregels over aanpassen van doelstellingen
In de Terugblik wordt niet over alle 76 doelstellingen uit het coalitieakkoord verantwoording afgelegd maar over circa 78 %. externe invloeden en maatschappelijke ontwikkelingen leiden regelmatig tot verandering of aanpassingen van inzichten en doelstellingen. In de Terugblik wordt dan ook niet over alle doelstellingen uit het coalitieakkoord verantwoord, omdat een deel van de doelstellingen achterhaald was. Het proces van de keuze van de verantwoorde doelstellingen dient inzichtelijk te zijn om de rapportage op waarde te kunnen schatten. Het afspreken van spelregels tussen PS en gS over bijsturing van en verantwoording over doelstellingen is derhalve noodzakelijk. Onder welke omstandigheden kunnen doelstellingen veranderd worden? en hoe informeren we elkaar hierover? Over welke doelstellingen wordt verantwoording afgelegd?

Tip 2. Spelregels over de reikwijdte van doelstellingen
Spelregels zijn niet alleen van belang om het verantwoordingsproces goed te laten verlopen. Om een goed debat te kunnen voeren over de behaalde resultaten zijn ook spelregels nodig over definiëring van begrippen, overeenstemming over meetmethoden en meetmomenten en (zeker in het geval van provincies) de reikwijdte van de taken en mogelijkheden. Onduidelijke definiëring van begrippen en taken leidt ook tijdens het validatieproces tot problemen. Immers, hoe moet je vaststellen of de provinciale wegen goed en duurzaam zijn ingericht en onderhouden? Wat wordt verstaan onder ‘goed’ en ‘duurzaam’ inrichten? Betreft duurzaam goede kwaliteit van wegen die lang meegaan of gaat het hierbij ook om milieu- en leefbaarheidsaspecten?

Tip 3. Vooraf nadenken over evaluatie
In het onderzoek bij de provincie Zuid-Holland werd zichtbaar dat het loont om vooraf, bij het samenstellen van het coalitieakkoord te anticiperen op een mogelijke evaluatie hiervan. De formulering van de doelstellingen, de reikwijdte van de taken van de provincie en het ontbreken van tussentijdse mijlpalen leidde niet zelden tot onduidelijkheden over (onmeetbare) resultaten en effecten. Tijdens het validatieproces komen deze beperkingen bloot te liggen. Hoe kun je bijvoorbeeld doelstellingen evalueren waar de provincie niet of nauwelijks invloed op uit kan oefenen. De aanbevelingen uit het onderzoek hebben ertoe geleid dat de gS en PS tezamen de intentie hebben uitgesproken om bij de coalitievorming de aanbevelingen van de Rekenkamer mee te nemen.

Drs. Eline Vree RA en drs. Henriëtte Boerma RA zijn beiden werkzaam bij Zaker. De validatie van de Terugblik is uitgevoerd door onderzoeksbureau Zaker in opdracht van de Randstedelijke Rekenkamer. De inhoud van dit artikel is afgestemd met de Randstedelijke Rekenkamer.

Literatuur

Randstedelijke Rekenkamer (2011), Validatie Terugblik collegeperiode 2007-2011, provincie Zuid-Holland.
Provincie Zuid-Holland (2010), Duurzaam gedacht, Dynamisch gedaan, Terugblik collegeperiode 2007-2011.
Motie 196 ‘Beleidsevaluatie Duurzaam denken, Dynamisch doen’, Provinciale Staten, 2 juni 2010.
Impressie van de vergadering van de Provinciale Staten van Zuid-Holland op woensdag 26 januari 2011, Kor Kegel.
Rekenkamer Rotterdam, rapporten Resultaten Tellen 2002 e.v.