Een illustratie van effectiviteitsonderzoek

Het proces
Het proces betreft de reconstructie van een gemeentelijke weg in het midden van het land. Dit proces verloopt globaal als volgt. In 2004 ontvangt de gemeente klachten van bewoners omtrent de verkeersintensiteit en de overlast die dat veroorzaakt. De weg wordt veel gebruikt door sluipverkeer, aldus de omwonenden. Daarop onderneemt de gemeente actie door onder andere verkeersmetingen uit te voeren. De resultaten hiervan worden besproken met de omwonenden. Vervolgens besluit de gemeente tot een reconstructie. Onderdeel van deze reconstructie is de bepaling dat de weg in het vervolg een eenrichtingsweg wordt. Voor het busverkeer wordt een uitzondering gemaakt met als gevolg dat ook bussluizen in het bestek worden opgenomen. Het bestek gaat uit van een begroting van € 600.000 (inclusief vernieuwing van de deklaag) en een oplevering in juni 2007. Conform het bestek wordt de weg al in april 2007 opgeleverd voor een totale aanneemsom van € 578.000. Nadien vinden wederom verkeersmetingen plaats. Het blijkt dat in 2008 het verkeer met 76% is gereduceerd ten opzichte van 2004.

Een evaluatie die het college in 2009 wordt aangeboden is zeer positief over het project. “De reconstructie heeft meer effect gegenereerd dan was voorzien: ging men in 2005 nog uit van een verkeersreductie van 30%, rekening houdend met een autonome stijging van de verkeersintensiteit, het blijkt dat de uiteindelijke reductie meer dan 75% bedraagt”, aldus de evaluatie uit 2009. “Daarnaast is de realisatie van het project binnen de ramingen gebleven, zowel qua tijd als qua budget”, zo vervolgt de evaluatie. De verkeersintensiteit (en ook de reductie daarvan) wordt daarbij uitgedrukt in het aantal auto’s dat per uur over de weg rijdt.

De eenvoud gecompliceerd
Gekozen is voor het bovenstaande voorbeeld omdat het hier een zeer concreet proces betreft, waarvan de effecten en de effectiviteit ogenschijnlijk eenvoudig en eenduidig te traceren zijn. Het bovenstaande voorbeeld is echter ook gekozen, omdat nogal wat valt af te dingen op de conclusies uit de evaluatie. Het voorbeeld is bij nader inzien een toonbeeld van een minder adequaat en zelfs oppervlakkig effectiviteitsonderzoek.
De redenering kan schematisch als in figuur 1 worden weergegeven.

Figuur 1. Effectiviteit kort bezien

De redenering uit de evaluatie kan wel beschouwd niet ontkracht worden. Mocht de verkeersintensiteit stijgen, ondanks de reconstructie, dan kan de gemeente volhouden dat deze stijging nog groter was geweest zonder de reconstructie.

De reconstructie heeft echter nog een staartje. Nadat de weg een eenrichtingsweg is geworden, neemt het verkeer vanuit een naburig dorp af. Dit verkeer gebruikt de weg met name om de supermarkt en de detailhandel in de gemeente aan te doen. De reconstructie heeft tot gevolg dat in een vrij grote ‘lus’ gereden moet worden, een omrit die de meesten achterwege laten.
Het gevolg daarvan is een schrikbarende daling van de omzet bij de detailhandel en de supermarkt. Protesten vanuit het midden- en kleinbedrijf en zeer veel discussie binnen de gemeenteraad en het college volgen.
De gedachte komt op dat de gemeente het begrip ‘effectiviteit’ koppelt aan de wens van de bewoners aan de weg, maar dat het begrip verandert indien de wensen van de naburige dorpen en van het middenen kleinbedrijf als uitgangspunt worden genomen. Met andere woorden: ‘effectiviteit’ heeft als begrip enkel inhoud in relatie tot de doelstellingen en voorkeuren van actoren. Als deze actoren verschillende voorkeuren hebben, zullen zij de effectiviteit van een maatregel ook verschillend beoordelen.

Vanuit deze laatste gedachte rijst de vraag welke voorkeuren de bewoners aan de weg eigenlijk hebben. Gaat het hier om geluidsoverlast of wordt de verkeerssituatie gevaarlijk bevonden? Het kan zijn dat men stankoverlast ervaart, maar het kan ook zijn dat men de slechte doorstroom als hinderlijk ervaart. Dit zijn verschillende voorkeuren. Niet alleen de beoordeling van de effectiviteit van de reconstructie wordt ingekleurd vanuit deze voorkeuren, ook de interpretatie en zelfs de opzet van verkeerstellingen wordt ingegeven vanuit een bepaalde voorkeur. Als de bewoners de situatie als gevaarlijk beoordelen, zal men erop uit zijn om de gemiddelde snelheid van het verkeer terug te dringen. De verkeerstelling dient dan niet zozeer gericht te zijn op het aantal auto’s per uur, maar op de gemiddelde snelheid van deze auto’s. Ook uit het oogpunt van geluidsoverlast lijkt dit de beste indicator. Als men de slechte doorstroom als het grootste knelpunt ervaart, zal men erop uit zijn deze doorstroom te bevorderen. De tellingen mogen dan weliswaar het aantal auto’s per uur als object kennen, maar dit aantal moet dan eerder omhoog dan omlaag worden gebracht. Meer auto’s per uur wijst immers op een betere doorstroom. De reductie van verkeer gemeten in het aantal auto’s per uur, de succesindicator uit de evaluatie, ligt wel beschouwd binnen geen enkele voorkeur…

Stel dat de gemeente toch vasthoudt aan de reductie van verkeer als gewenst effect, dan kan dit criterium ook conceptueel worden aangevochten. Een reductie van verkeer houdt immers minder file en een betere doorstroom in (zij het vanaf één kant in dit geval). Met zou kunnen betogen dat als de maatregel werkelijk het verkeer reduceert, er zich na verloop van tijd weer nieuw verkeer aandient. Een dergelijke maatregel is op termijn per definitie niet effectief, omdat een lege weg een aanzuigende werking op auto’s heeft. De claim dat het verkeer over een aantal jaar daadwerkelijk is gereduceerd (in termen van aantal auto’s per uur) kan dus enkel inhouden dat er meer file is ontstaan: dit reduceert het aantal auto’s per uur en heeft niet bepaald een aanzuigende werking.

De reconstructie levert verder verschillende neveneffecten op. Zo kan elders een toename van sluipverkeer geconstateerd worden. Dit sluipverkeer kiest welhaast natuurlijk een andere route, zij het dat deze andere route langs een basisschool loopt, met alle gevolgen voor de verkeersveiligheid van dien. Ook op andere terreinen zijn neveneffecten te bespeuren. Door alle discussies die ontstaan tussen omwoners, omliggende dorpen, de detailhandel, de basisschool, het college en de raad, daalt het vertrouwen van burgers in het gemeentebestuur sterk en worden ook de verhoudingen binnen de coalitiepartijen en tussen het college en de raad op scherp gezet.

Zoals elders in deze uitgave wordt gesteld, loopt de redenering in een effectiviteitsmeting doorgaans van links naar rechts. Dat wil zeggen dat men al uitgaat van een bepaalde maatregel en deze maatregel vervolgens relateert aan een bepaald effect. Het verdient echter aanbeveling de redenering ook van rechts naar links op te zetten, opdat daarmee een beter inzicht in de causaliteit wordt verkregen. Uitgaande van een gemeten verkeersreductie rijst dan de vraag in hoeverre andere factoren buiten de reconstructie hiervoor verantwoordelijk kunnen zijn. Het blijkt dan dat de gereedgekomen verbreding van een snelweg nabij de gemeente een zeer groot effect heeft op de verkeerscirculatie in de gemeente. Omdat de reconstructie vrijwel gelijktijdig met de verbreding wordt opgeleverd, is het vrijwel onmogelijk om de individuele effecten van beide maatregelen te traceren. Het besef dat ook andere factoren een rol kunnen spelen bij het genereren van een bepaald effect, levert een beter beeld van de causaliteit op die tussen de diverse factoren kan bestaan. Zo is de reconstructie misschien voldoende, maar zeker niet noodzakelijk om de verkeersreductie te bewerkstelligen.

Effectmeting wordt nog meer gecompliceerd door de introductie van de factor tijd. Het effect van een maatregel zal na verloop van tijd doorgaans afnemen, maar in sommige gevallen juist toenemen. Ook wordt de kans groter dat andere, interveniërende factoren een rol gaan spelen naarmate de tijdshorizon wordt verbreed. Daarnaast kunnen de voorkeuren van actoren wijzigen in de tijd, terwijl vanuit een bepaalde voorkeur hetzelfde effect ook anders gepercipieerd kan worden naarmate de tijd verstrijkt (men went bijvoorbeeld aan een bepaalde situatie).

Het behoeft geen betoog, dat ook de toerekening van kosten aan een analyse onderworpen moet worden. Hoewel effectiviteit doorgaans verwijst naar de verhouding tussen effect en output, is het toch van belang om te weten wat deze output kost en in hoeverre de realisatie binnen de oorspronkelijke raming blijft. Ondanks het feit dat de gemeente claimt dat de uiteindelijke kosten de raming van zes ton niet te boven gaan, leert een nadere analyse dat hier enkel de directe kosten worden meegerekend. De kosten die gemoeid zijn met besluitvorming, maar ook met de extra vergaderingen die georganiseerd moeten worden om de discussies te voeren, worden in de opstelling niet meegenomen. Ook worden de kosten voor publicaties achterwege gelaten. Als de gemeente later besluit om het nieuwe sluipverkeer bij de basisschool te bestrijden, worden ook deze kosten niet meegenomen in de evaluatie. Overigens is het eveneens goed te bezien in hoeverre andere maatregelen niet goedkoper zijn, maar wel hetzelfde effect genereren. Met het oog op het door de gemeente gewenste effect, zou men immers ook kunnen overwegen om een bord te plaatsen met de tekst ‘verboden toegang voor onbevoegden’.
Het bovenstaande indachtig heeft het proces meer weg van het schema als in figuur 2.

Figuur 2.Effectiviteit wel beschouwd (Klik op figuur voor vergroting)

Conclusies en beschouwing: de complexiteit gesimplificeerd
Deze illustratie toont aan, dat zelfs bij een eenvoudige verkeersmaatregel de effectiviteit van overheidsingrijpen zeer lastig eenduidig te traceren is. Verschillende actoren hebben verschillende voorkeuren, met als gevolg dat de effectiviteit van een bepaalde maatregel verschillend kan worden beoordeeld. Zelfs de keuze voor een bepaalde effectindicator en de interpretatie van deze indicator wordt ingegeven vanuit deze voorkeuren.

Het nemen van een maatregel en het traceren van het effect van die maatregel vereist een grondige analyse van het daadwerkelijke probleem en dus van de doelstellingen en voorkeuren van de diverse actoren. Conceptueel zal de analyse valide moeten zijn, terwijl men zeer veel oog voor eventuele neveneffecten zal moeten hebben, hoe ongewenst deze ook zijn. Ook zal men open moeten staan voor het gegeven dat de beoogde effecten wellicht ook door andere maatregelen gegenereerd kunnen zijn en dat andere factoren wellicht meer bepalend zijn voor het uiteindelijke effect dan de maatregel in kwestie. Verder wijzigen voorkeuren en percepties zich in de loop van de tijd, terwijl de invloed van interveniërende variabelen sterker wordt naarmate men opteert voor een langere termijn evaluatie. Het koppelen van kosten aan output en uiteindelijk aan effect vereist een goed inzicht in de volledige kosten, inclusief de indirecte kosten en de kosten van aanvullende maatregelen (die later in de tijd genomen kunnen zijn).

Gelet op de bovenstaande complicaties lijkt het bijna ondoenlijk iets op te merken over de effectiviteit, al was het maar door het gegeven dat verschillende actoren conflicterende doelstellingen kunnen hebben. Een maatregel die voor iedereen effectief is, verwordt daarmee tot een contradictio in terminis.

De verhandeling over de complicaties levert echter wel het benodigde inzicht op. Zo is het inzicht ontstaan, dat verschillende probleempercepties verschillende effectindicatoren voorschrijven, terwijl exogene factoren eveneens van invloed zijn op de gemeten effecten. Daarnaast zijn enkele neveneffecten getraceerd, is er meer zicht op de causaliteit tussen de diverse factoren en bestaat nu het inzicht dat effecten kunnen wijzigen in de tijd. De kosten zijn nu beter in beeld gebracht, terwijl men ook een beter zicht heeft op de validiteit van de redenering.

Vanuit dit inzicht kan men bewustere keuzen maken. Zo kan de gemeente vanuit een bepaalde voorkeur een maatregel treffen en hier ook de juiste effectindicator bij vinden. Ook kan de gemeente bewust kiezen een maatregel achterwege te laten, omdat elders factoren hetzelfde effect genereren of omdat de neveneffecten te negatief zijn.

Het maken van onderbouwde keuzen houdt niet in dat daarmee gelijk een oordeel over de effectiviteit kan worden geveld. Dit is ook niet erg, als men het formuleren van beleid en het nemen van een maatregel beschouwt als een redenering, een betoog. Gesteld kan worden dat hoe meer solide de redering wordt opgezet, hoe moeilijker het is de redenering te betwisten. Naarmate steeds meer inzicht in de complexiteit van het beleidsterrein ontstaat, zullen keuzen steeds beter beargumenteerd kunnen worden gemaakt, zal het betoog steeds sterker worden, terwijl steeds minder tegenwerping mogelijk is. Misschien is dat wel de juiste definitie van effectiviteit: de mate waarin een gehanteerde beleidstheorie weerstand kan bieden aan tegenwerping. Zo bezien laat het bovenstaande voorbeeld zien dat de effectiviteit binnen het openbaar bestuur soms nog fors verbeterd kan worden.

Dr. Rick Anderson is lector Controlling bij Hogeschool Inholland