Rekenkameronderzoek in de waterschapspraktijk

Een verduikerde bron binnen het stedelijk gebied werd naar boven gehaald om op die manier de bron weer een herkenbaar karakter te geven. Op eigen initiatief richtte het waterschap een rekenkamer op om dit project te onderzoeken. De auteurs van dit artikel geven een korte samenvatting van het onderzoek en trekken een aantal algemenere conclusies.

De waterschappen in Nederland zijn in beweging. Per 1 januari 2008 wordt de nieuwe Waterschapswet van kracht en zullen ook nieuwe regels ten aanzien van de financiële bedrijfsvoering worden geïmplementeerd, om per 2009 operationeel te zijn. Opvallend is, dat de nieuwe Waterschapswet in haar streven naar transparantie, toezicht en verantwoording gelijkenis vertoont met de gemeentewet van 2002, maar dat de rekenkamerfunctie in het geheel niet genoemd wordt in deze nieuwe wet. Nog opvallender is, dat waterschappen op eigen initiatief rekenkamers aan het oprichten zijn en dat de eerste onderzoeken nu zijn afgerond. In termen van transparantie zonder meer toe te juichen, misschien wel juist omdat het hier om vrijwillige initiatieven gaat.

Het onderzoek

De werkgroep op de rekenkamerfunctie van het algemeen bestuur van een waterschap heeft een onderzoek verricht naar het project Herinrichting Mooie Beek.1 Dit project had tot doel de Mooi Beek in het verduikerde traject een herkenbaar karakter te geven waarbij de zichtbaarheid zou worden vergroot. De beek moest daartoe opgegraven worden. Tevens moest een aantal terugkerende elementen toegevoegd worden die de herkenbaarheid van het zogenaamde lintprofiel zouden bepalen. Het belangrijkste element hierbij was het water zelf en een aan dit water gekoppelde route. De werkgroep had voor dit onderzoek de volgende doelstelling geformuleerd:

Hoe doelmatig en doeltreffend is het project Herinrichting Mooie Beek verlopen?

In het verlengde van deze vraagstelling zijn de volgende deelvragen gesteld:

1. Welke criteria kunnen geformuleerd worden voor een doelmatig en doeltreffend projectverloop?
2. Welke daadwerkelijke kosten zijn gemoeid geweest met het project?
3. Hoe is het proces van afweging tot oplevering verlopen?
4. Wat is de output van het project geweest?
5. Welke effecten heeft het project gegenereerd?
6. Hoe doelmatig en doeltreffend is het project verlopen?
7. Waren andere oplossingen voorhanden?
8. Welke aanbevelingen kunnen geformuleerd worden om de doelmatigheid en doeltreffendheid van projecten te verbeteren?

Het onderzoek is uitgevoerd in de tweede helft van 2007. Gebruik is gemaakt van dossieranalyses, interviews en een literatuurstudie. Om een adequaat antwoord te geven op de bovengestelde vragen heeft het onderzoek een aantal fasen doorlopen. Zo zijn eerst criteria geformuleerd waar een deugdelijk projectverloop aan zou moeten voldoen. Deze criteria zijn deels aan interne, maar ook deels aan externe normen ontleend. Dit laatste is immers noodzakelijk om te voorzien in voldoende kritische reflectie op de intern gehanteerde normen. Vervolgens zijn data verzameld en zijn deze data geanalyseerd. Tijdens de analyse is daarbij gezocht naar dieperliggende oorzaken die zich wellicht ook binnen andere projecten kunnen voordoen. Uiteraard mondt het onderzoek uit in een aantal aanbevelingen die op grond van de analyse en de conclusies gedaan kunnen worden.

Criteria procesverloop

Ten behoeve van de eerste deelvraag zijn procesmatige criteria geformuleerd. Dit betreft criteria die gesteld kunnen worden aan het projectmatig werken, los van de inhoud van het project. Daarnaast konden inhoudelijke criteria worden geformuleerd, die betrekking hebben op dit specifieke project. Dit zijn criteria die als doelstellingen in het oorspronkelijke projectplan waren opgenomen.

Kosten

De daadwerkelijke kosten van het project kunnen als in ondertstaande tabel worden weergegeven:

Daarbij valt op, dat de interne uren destijds niet in de raming waren opgenomen. Tevens zijn de budgetten opwaarts bijgesteld als gevolg van voortschrijdend inzicht. Overigens zijn deze punten expliciet ter besluitvorming voorgelegd aan het dagelijks bestuur voordat men met het project de realisatiefase inging. Tevens zijn de budgetverhogingen grotendeels afgevangen doordat meer subsidie voor het project kon worden verkregen.

Proces van afweging

De afweging om met het project te beginnen was deels gebaseerd op de bestuurlijke koers van het waterschap om meer met stedelijk water te doen. Het project betreft immers een bron in de stad Argus en zou als pilot of wellicht als goed voorbeeld kunnen dienen voor projecten op het gebied van stedelijk water. Aan de andere kant was de afweging om als trekker te fungeren minder gebaseerd op een bewuste keuze maar meer op het feit dat Argus in een herindelingsprocedure terechtkwam en minder prioriteit aan het project gaf. Het moment om te starten werd ingegeven doordat de eigenaar van de meest relevante omliggende grond een bouwaanvraag had ingediend bij de gemeente.

Output en effecten

Het project is gerealiseerd en de fysieke output is opgeleverd. Tevens valt uit de eindevaluatie op te maken, dat de effecten die men beoogde op het gebied van recreatie en toerisme eveneens zijn gerealiseerd. Op dit punt kan een aantal constateringen worden gedaan. Hoewel het projectplan concrete doelstellingen heeft beschreven in termen van te realiseren output, gaat de eindevaluatie hier niet op in. Het betreft hier de volgende doelstellingen:

• het vergroten van de waterretentie (0,5 ha);
• de renovatie van beken en sprengen (0,025 ha);
• het versterken van cultuurhistorische waarden;
• het verhogen van de biodiversiteit (4 km);
• het herstel van de watersystemen en bestrijding van verdroging (150 ha).

Niet geconstateerd kan worden in hoeverre deze doelstellingen zijn gerealiseerd. Het projectplan zelf bevatte ook doelstellingen met betrekking tot de effecten, maar deze waren zeer abstract geformuleerd. De concretisering hiervan vond pas plaats tijdens het projectverloop. Bovendien is deze concretisering niet expliciet ter besluitvorming voorgelegd aan het dagelijks bestuur. Het gevaar bestaat dan, dat men door een bepaalde concretisering achteraf ‘naar het resultaat toeschrijft’ en dus altijd een zekere mate van effectiviteit kan claimen. Zie de tabel op pagina 20

Hoewel de bereikte resultaten zonder meer samenhangen met de doelstellingen die met betrekking tot de effecten waren geformuleerd, valt wel het verschil in abstractieniveau op.

Doelmatig en doeltreffend

Om de vragen naar doelmatigheid en doeltreffendheid te beantwoorden, is de manier van projectmatig werken onderzocht. Een nadere analyse van het proces wees uit, dat de fasering, registratie en communicatie van het project conform de opzet voor projectmatig werken is verlopen zoals deze geldt binnen het waterschap. De diverse rollen die binnen het projectmatig werken onderscheiden kunnen worden, waren echter niet duidelijk voor de betrokkenen. Zo werd vanuit de opdrachtgever vrij inhoudelijk gestuurd met als gevolg dat de projectleider minder inhoudelijke ruimte had. Het feit dat de projectleider direct contact had met de portefeuillehouder, maar de opdrachtgever niet, trok een verdere wissel op een eenduidige rolvervulling. Tevens was binnen het project Herinrichting Mooie Beek geen sprake van een adequaat managementinformatiesysteem waarbij systematisch de realisatie van het project wordt afgezet tegen de oorspronkelijke planning. Zo werd niet periodiek de exploitatie, het aantal bestede uren en de inhoudelijke voortgang op elkaar gekoppeld en vergeleken met een operationele planning. Er werd verder geen expliciete controlfunctie uitgeoefend ter ondersteuning van het project Herinrichting Mooie Beek. Dit houdt in, dat de budgetten en rapportages niet van een onafhankelijke kritische reflectie werden voorzien.

Hoewel niet is te kwantificeren of het bovenstaande tot ondoelmatigheid heeft geleid, kan wel gesteld worden dat met een dergelijke manier van projectmatig werken in de praktijk het gevaar van ondoelmatigheid groot is.

Ten aanzien van de doeltreffendheid viel het volgende op. De planning van het project was een globale planning. De concretisering vond feitelijk pas plaats tijdens de uitvoering. Enerzijds heeft dit het voordeel dat er zeer veel vrijheidsgraden worden toegekend aan diegenen die belast zijn met de realisatie. Bovendien kan zeer goed worden ingesprongen op kansen en knelpunten die zich tijdens het project voordoen. Aan de andere kant bestaat het gevaar van incrementalisme, waarbij een reeks van kleinere beslissingen uiteindelijk leidt tot een ongewenst eindtotaal. Dit wordt bevestigd door enkele inhoudelijk betrokkenen waar gesteld wordt dat: “als alles over moest, we het inhoudelijk geheel anders hadden gedaan.”

Het onderzoek komt dan tot de volgende aanbevelingen:

1. Het is raadzaam om doelstellingen zo concreet mogelijk te formuleren in het projectplan, opdat na afloop beter kan worden beoordeeld in hoeverre het project nu doeltreffend en doelmatig is verlopen. Indien het niet mogelijk is om doelstellingen vooraf te operationaliseren, zal tijdens het projectverloop de nadere concretisering moeten worden voorgelegd aan het dagelijks bestuur ter expliciete besluitvorming.
2. De eindevaluatie zal moeten ingaan op alle doelstellingen die vooraf zijn geformuleerd. Ook zal deze evaluatie snel na afloop van het project moeten worden aangeboden om het leereffect te optimaliseren.
3. De budgettering zal expliciet ook de interne uren en interne kosten moeten meenemen. Pas op deze manier ontstaat een beeld van de integrale kostprijs en het beslag dat dit project legt op de ambtelijke capaciteit. Dit verhoogt uiteindelijk een adequate keuze om een bepaald project al dan niet op te starten.
4. De diverse rollen die vervuld moeten worden binnen het projectmatig werken zullen eenduidig omschreven moeten zijn en goed moeten zijn uitgelijnd ten opzichte van elkaar. Zo moet duidelijk zijn waar de verantwoordelijkheid van een projectleider eindigt en waar die van een ambtelijk opdrachtgever begint en hoe de lijnen naar de verantwoordelijk bestuurder moeten lopen.
5. Het ontwerpen en implementeren van een managementinformatiesysteem is zonder meer raadzaam. Dit systeem zal systematisch en periodiek de budgetuitputting moeten koppelen aan het aantal bestede uren, de gemaakte directe kosten en aan de inhoudelijke voortgang. Tevens zal periodiek een vergelijking moeten worden gemaakt met de oorspronkelijke planning. Op basis hiervan zullen voortgangsgesprekken gehouden moeten worden die leiden tot concrete acties (ondernemend rapporteren).
6. Het opstellen van de budgetten en de rapportages dient voorzien te worden van een toereikende kritische reflectie, welke moet worden uitgevoerd door een actor die geen zitting neemt in het project, i.e. een controller. Hierdoor wordt de zogenaamde ‘Countervailing Power’ georganiseerd, welke kenmerkend is voor een professionele controllingorganisatie.
7. Hoewel niet altijd een beeld bestaat van het concrete eindbeeld, verdient het aanbeveling om afzonderlijke besluiten te toetsen aan het te realiseren totaalbeeld. Dit voorkomt de natuurlijke neiging tot incrementalisme.

Effect van onderzoek, conclusies en aanbevelingen

Uit het bovenstaande onderzoek kan een aantal algemene conclusies worden getrokken. Allereerst blijft het ook in de waterschapswereld moeilijk om doelstellingen concreet te formuleren. Dit knelpunt speelt binnen gemeenten en provincies een vrij dominante rol, maar doet zich dus ook binnen waterschappen voor. Enerzijds hangt dit samen met de aard van de processen. Sommige processen (bijvoorbeeld op het gebied van beleidsformulering) lenen zich immers minder voor een concrete vertaling naar output dan andere (bijvoorbeeld op het gebied van het zuiveringsbeheer). Anderzijds hangt dit samen met de bestuurlijke wens voor meer ruimte voor eigen interpretatie, waarmee ook de onderlinge verhoudingen minder snel op scherp worden gezet (‘vaag is fijn’).

Het concretiseren van doelstellingen is echter nog geen garantie voor een doelmatig en doeltreffend verloop. Het onderzoek wijst uit, dat juist over zeer concrete doelstellingen slechts summier werd gerapporteerd. In de eindevaluatie kwamen deze doelstellingen zelfs in het geheel niet meer terug. Los van de knelpunten die men ondervindt bij het concretiseren van doelstellingen, is het uiteraard raadzaam in termen van planning & control om ook te rapporteren over deze doelstellingen. Het beeld dat rapporteren nu niet bepaald tot de meest populaire activiteiten behoort, is vrij universeel herkenbaar binnen het openbaar bestuur.

Hoe het ook zij, de knelpunten die samenhangen met het gebruik van kwantitatief geconcretiseerde doelstellingen maken, dat de relevante factoren en de essentie van een proces niet altijd in termen van kwantiteit te vangen zijn. Zelden is alles te meten of anders geformuleerd: datgene wat gemeten kan worden raakt doorgaans niet de relevantie van het proces. Ook geldt de methodische beperking dat de causaliteit tussen maatregel en effect niet altijd kan worden aangetoond, waardoor de betrekkelijke waarde van de meetbaarheid van doelstellingen wordt benadrukt. Dit alles heeft als consequentie, dat men in dit type onderzoek tevens kwalitatieve methoden en technieken moet gebruiken en dat men in de conclusies ook niet al te stellig kan zijn.

In navolging van de ervaringen die binnen gemeentelijke rekenkamers zijn opgedaan, kan gesteld worden dat de aanbevelingen uit een rekenkameronderzoek effectiever zijn, naarmate zij beter zijn geadresseerd. Zo moet duidelijk zijn wie nu precies met welke aanbeveling iets moet doen, aangezien anders het gevaar bestaat dat aanbevelingen ‘in de lucht blijven hangen’. Ze moeten worden geborgd in de besturing en bedrijfsvoering van de organisatie. In die zin is het de vraag in hoeverre de aanbevelingen nu daadwerkelijk worden doorgevoerd, zelfs indien ze onderschreven worden door het dagelijks bestuur en het algemeen bestuur.

Ook andere conclusies kunnen getrokken worden. Zo wordt uit het onderzoek de spanning duidelijk tussen een globale visie en concrete besluitvorming. Enerzijds is een globale visie nodig om het totaalbeeld te bewaken en te bespreken. Anderzijds is deze visie vooraf niet altijd concreet en wordt deze visie doorgaans tijdens de rit aangepast. Feitelijk zou een systematische koppeling moeten plaatsvinden tussen het globale totaalbeeld en de concrete deelplannen of beslissingen. Dit kan er soms toe leiden dat het totaalbeeld op onderdelen wordt aangepast, of dat juist de beslissingen anders genomen worden. Waar het uiteraard om gaat, is dat aanpassingen bewust worden gedaan en altijd worden afgezet tegen de achtergrond van het gewenste totaalbeeld. Dit voorkomt het gevaar van incrementalisme. Tevens blijkt het projectmatig werken in de praktijk toch altijd weer voeding voor onduidelijkheid en afstemmingsproblemen te geven. Ook deze conclusie is herkenbaar vanuit de gemeentelijke praktijk. Waar met verschillende aansturingslijnen wordt gewerkt, blijft het belang van een heldere taak- en verantwoordelijkheidsverdeling groot.

Dit onderzoek geeft overigens nadrukkelijk ook reden voor optimisme. Het feit dat men vrijwillig een rekenkamerfunctie instelt en dat men vrijwillig processen laat onderzoeken, is zonder meer toe te juichen. In termen van verantwoording afleggen blijft het rapporteren over dergelijk onderzoek een bruikbaar middel, ondanks de praktische en methodologische complicaties die aan dit type onderzoek kleven. Vanuit dit perspectief beschouwd draagt rekenkameronderzoek bij aan de bedoeling van de wetgever met de nieuwe Waterschapswet, die het versterken van de positie van het algemeen bestuur centraal stelt. De complicaties kunnen worden gepareerd als gebruik wordt gemaakt van ervaringen die binnen bijvoorbeeld gemeentelijk of provinciaal rekenkameronderzoek zijn opgedaan. En dan ontstaat er pure winst!

Drs. H. Verdellen is partner van de adviesgroep lokale overheid van ConQuaestor Management Consulting.
Dr. R.J. Anderson is managing consultant binnen de adviesgroep lokale overheid van ConQuaestor Management Consulting met een specialisatie op het gebied van doelmatigheidsvraagstukken en rekenkameronderzoek

Noot
1 Ter wille van de anonimiteit is gekozen voor een andere naam.