Zicht op doelen, prestaties en effecten van beleid

Wanneer zijn doelen in zicht en hoe stel je vast dat ze zijn gehaald? Vragen waarmee ieder bestuur te maken krijgt. De Rekenkamer Rotterdam deed tussen 2000 en 2005 verschillende malen onderzoek naar de doelen van het college, de manier waarop het de bedoelde prestaties en effecten wilde realiseren en hoe het dit alles verantwoordde. Daarbij werden ook de opzet en uitvoering van de gebruikte instrumenten onder de loep genomen. Wat levert al deze aandacht op? Zijn sturing, monitoring en verantwoording verbeterd? En als dit niet zo is, waar ligt dat dan aan?

Sturen op prestaties
De opvattingen over hoe de overheid doelen wil en kan realiseren zijn de laatste decennia gewijzigd. Bestuurders willen sturen op prestaties en op (maatschappelijke) effecten, en veel minder op algemene bedoelingen, inzet van middelen of activiteiten. Om doelbereiking vast te kunnen stellen moeten doelen voldoen aan de SMART-eisen: ze dienen specifiek, meetbaar, acceptabel, realistisch en tijdgebonden te zijn. Bovendien moeten er geschikte meetinstrumenten beschikbaar zijn. Daarnaast neemt de aandacht voor verantwoording toe. Deze ontwikkelingen leiden tot een toenemende behoefte aan inzicht in de resultaten van overheidshandelen. Om dit inzicht te verwerven worden steeds nieuwe methoden en instrumenten gebruikt. 

Ook in Rotterdam zijn sinds midden jaren negentig instrumenten ontwikkeld om de voortgang van het beleid te volgen en verantwoording af te leggen over de mate waarin beleidsdoelen worden gehaald. De Rekenkamer Rotterdam besteedde in verschillende onderzoeken aandacht aan dit thema. In dit artikel wordt op basis van vier onderzoeken op deze materie ingegaan.1 Eerst typeren we kort de collegeprogramma’s in de perioden 1998-2002 en 2002-2006. Vervolgens belichten we twee beleidsvelden: ‘schoon en heel’ en ‘veiligheid’. Welke instrumenten worden gebruikt en wat is de betekenis daarvan voor de controle op de uitvoering van het beleid en het zicht op de effectiviteit ervan?

Bakens in Rotterdam
De gemeente Rotterdam bedacht in 1997 ‘bakens’: specifieke prestaties of effecten die in een bepaalde tijd gerealiseerd moeten zijn. Een voorbeeld is het percentage Rotterdammers dat de buurt ‘redelijk schoon’ of ‘heel schoon’ vindt. Bakens dienden als meetlat: aan de hand van de bakens kon de voortgang bijgehouden worden van de realisatie van de doelen uit de toekomstvisie. Daarnaast kon het gemeentebestuur aan de hand van de bakens verantwoording af leggen aan de Rotterdammers. Het college dat in 1998 startte, koppelde 41 bakens aan 10 uitvoeringsprogramma’s van het collegeprogramma. 

De Rekenkamer was van mening dat het werken met bakens alleen zinnig zou zijn wanneer het zou leiden tot een goede monitoring van de bereikte resultaten, tot een effectieve sturing en tot een doorzichtig en herkenbaar beleid. De Rekenkamer meende dat bakens op zich een goede mogelijkheid boden om nadrukkelijker te gaan sturen op hoofdlijnen en om die hoofdlijnen en de resultaten op overzichtelijke wijze openbaar te maken. Veel bakens leidden echter niet tot het beoogde doel. Belangrijkste oorzaak was dat de bakens in wezen top down waren ingevoerd. Ambtelijk waren de bakens daardoor uiteindelijk niet meer dan een periodieke rapportageverplichting. Bestuurlijk waren de bakens na invoering geen punt van discussie met de raad meer. Bovendien had het college voor de meeste bakens geen nulmeting uitgevoerd, zodat geen streefcijfers konden worden bepaald. 

Het tellen van resultaten
In het verlengde van de bakens heeft ook het nu zittende college bij zijn aantreden in 2002 meetbare doelen aan het collegeprogramma gekoppeld.2 Het college nam in het programma zes topprioriteiten op. Deze bevatten ieder een aantal prioriteiten (56), die weer bestaan uit doelen (87). De gemeenteraad verzocht de Rekenkamer in 2002 om jaarlijks onderzoek te verrichten naar de meetbare doelen.3 Met dit onderzoek diende de Rekenkamer de raad te informeren over de kwaliteit, kwantiteit en controleerbaarheid van de nulmeting en de kwaliteit van de gegevens die het college bij de jaarrekening aan de raad verstrekt. Net als bij de bakens onderzocht de Rekenkamer in welke mate de geformuleerde resultaten een meetlat zijn voor de realisatie van de daaraan verbonden doelen. De Rekenkamer was in 2003 positief over de opzet van de programmaverantwoording. Wel bleek een fors aantal nulmetingen toen nog niet controleerbaar of juist/volledig te zijn. Die nulmetingen kunnen daarom het volgende jaar niet dienen als goede meetlat ter beoordeling van de dan gepresenteerde beleidsprestaties. Anders dan bij bakens ligt de nadruk bij het onderzoek nu op de vraag of de gegevens die het college jaarlijks aan de raad presenteert over de behaalde resultaten controleerbaar en juist/volledig zijn.
Het belang van goed geformuleerde doelen en een adequaat meetinstrumentarium wordt geïllustreerd met de beleidsvelden ‘schoon en heel’ en ‘veilig’. 

Schoon en heel
Eén van de bakens van het college in 1998-2002 was ‘het percentage Rotterdammers dat de buurt redelijk of heel schoon vindt’. Het was gebaseerd op jaarlijks terugkerende vragen in de omnibusenquête van het gemeentelijke Centrum voor Onderzoek en Statistiek (COS). De dienst Gemeentewerken heeft daarnaast in 2000 een eigen meetinstrument ontwikkeld: de productnormering. Dit systeem is gebaseerd op een model van de organisatie Nederland Schoon. Bij productnormering bekijken (‘schouwen’) verschillende partijen, waaronder buurtbewoners, gelijktijdig diverse onderdelen van de buitenruimte. Gezamenlijk komen zij tot een oordeel over hoe schoon en heel de buitenruimte op dat moment is. Dit loopt van ‘zeer vuil en volledig kapot’ (1) via ‘vuil en met gebreken’ (2), ‘rommelig’ (3) en ‘opgeruimd en in goede staat’(4) tot ‘zeer schoon en volledig heel’ (5). Dit oordeel is geobjectiveerd doordat de schouwers aan de hand van helder illustratiemateriaal samen beoordelen welk cijfer wordt gegeven. Doel van het instrument productnormering is te komen tot duidelijke ‘schoon en heelproducten’ op basis waarvan prestatieafspraken kunnen worden gemaakt. Het instrument moet op drie momenten gebruikt kunnen worden: bij het beoordelen van de kwaliteit van de buitenruimte, bij het maken van jaarlijkse afspraken over te realiseren niveaus tussen bestuur en gemeentelijke diensten en bij het maken van prestatieafspraken binnen de uitvoerende organisaties. 

Het is opmerkelijk dat de waardering voor het schoon zijn van de stad over 2002 afnam, terwijl de productnormering juist liet zien dat de stad schoner werd. Klaarblijkelijk spelen in de waardering volgens de enquête ook andere aspecten van de omgeving een rol. Mogelijk hebben bewoners juist een ‘slechte’ plek of straat op het oog wanneer ze de enquêtevraag beantwoorden. De kwaliteitsbeelden volgens productnormering kunnen dan ook niet worden verbonden met het baken. Het baken werd immers met enquêtevragen thuis gemeten, terwijl voor de productnormering werd geschouwd op concrete plekken en op meerdere momenten voor verschillende aspecten. Het zijn dus verschillende beoordelingsmethoden met een andere vraagstelling en een andere uitvoering. Het nut zit vooral in het periodiek en systematisch herhalen van de metingen. De combinatie van meetmethoden levert nuttige informatie op. 

De ambitie om productnormering te gebruiken bij het maken van afspraken tussen diensten en deelgemeenten stond in 2002 nog in de kinderschoenen. In de praktijk bleek het gebruik van productnormering per deelgemeente te wisselen. Zo verschilde het aantal meetpunten en werden de uitkomsten verschillend geïnterpreteerd. Bovendien was het nog niet goed mogelijk om met productnormering achteraf te bepalen of de vooraf afgesproken kwaliteit was geleverd. Het was toen dus (nog) niet mogelijk de waardering van Rotterdammers voor schoon en heel in de deelgemeenten of de schouwresultaten bij productnormering te vergelijken met gegevens over de inzet van mensen en middelen. Dit veronderstelt namelijk de beschikbaarheid van een (management)informatie-systeem voor de planning en control bij het management van de dienst en bij de opdrachtgever, de deelgemeente. Inmiddels wordt een methode ontwikkeld om de resultaten van het werk beter in verband te brengen met de inzet die wordt gepleegd.4

Veiligheid
In het collegeprogramma 1998-2002 was als doel en als baken geformuleerd “dat Rotterdammers uiterlijk in 2002 aan de veiligheid het rapportcijfer 7 toekennen en driekwart de veiligheidssituatie verbeterd vindt”. Het baken had een overkoepelend karakter omdat uiteindelijk alle activiteiten die voor het programma ‘Veilig’ worden ondernomen moeten bijdragen aan het verbeteren van de veiligheidsbeleving. Tegelijkertijd zijn ook vele externe factoren en gebeurtenissen van invloed op de veiligheidsbeleving. Het rapportcijfer vervulde daardoor eerder een signaalfunctie dan dat het een adequaat zicht bood op de effectiviteit van het gevoerde beleid. Ook het leggen van een directere relatie tussen onderdelen van het programma en het rapportcijfer was zonder aanvullende informatie niet mogelijk. Net als bij het baken voor schoon en heel werd ook dit rapportcijfer gebaseerd op vragen in de jaarlijkse omnibusenquête van het COS. Het cijfer is gemeten vanaf 1996. Na 2002 is het college ermee gestopt.

In 2001 heeft de gemeente Rotterdam een veiligheidsindex in gebruik genomen. Vier doelen in het collegeprogramma 2002-2006 zijn uitgedrukt in termen van de veiligheidsindex. De resultaten uit de index worden opgenomen in de verantwoording van het college over de doelen. De mate van doelbereiking kan dus met de veiligheidsindex worden vastgesteld. Met de veiligheidsindex worden gegevens uit registraties van aangiften en meldingen en enquêtes over (on)veiligheid gecombineerd tot één cijfer dat de mate van (on)veiligheid van de stad, deelgemeenten en wijken aangeeft. In dit cijfer worden acht veiligheidselementen gecombineerd: diefstal, drugsoverlast, geweld, inbraken, vandalisme, overlast, schoon en heel, en verkeer. Daarnaast zijn vier omgevingskenmerken in de veiligheidsindex opgenomen, namelijk de sociale samenhang en bevolkingssamenstelling, de economische welvaart, de bebouwing en de tevredenheid met de buurt. Afhankelijk van de indexscore, die ligt tussen 1 (=slecht) en 10 (=goed), worden de wijken ingedeeld in één van de volgende categorieën: ‘onveilige wijk’, ‘probleemwijk’, ‘bedreigde wijk’, ‘aandachtswijk’ of ‘(redelijk) veilige wijk’. De veiligheidsindex is een monitor. Hij geeft inzicht in de aard en omvang van de problemen op het gebied van wijkveiligheid in de deelgemeenten en de wijken, en de ontwikkeling daarvan in de tijd. De index wordt jaarlijks uitgevoerd door het gemeentelijke Programmabureau Veilig.5

De afstand tussen het geheel aan maatregelen en het tot 2003 gehanteerde rapportcijfer voor veiligheid is groot. Ook de koppeling tussen datgene wat de veiligheidsindex meet en het gevoerde beleid is gecompliceerd. Een directe relatie met afzonderlijke beleidsprogramma’s, maatregelen en de achterliggende bedrijfsvoering is niet te leggen. De index is niet ingericht op het trekken van conclusies over het gevoerde beleid in evaluatieve zin. Het gelijktijdig uitvoeren van een veiligheidsprogramma en het meten van veiligheidsverbeteringen (correlatie) vormt nog geen bewijs voor het bestaan van een causaal verband. Het bereiken van de doelen door het gevoerde beleid is op basis van de veiligheidsindex op onderdelen wel aannemelijk maar moeilijk aan te tonen.

De maatregelen zijn in beperkte mate geëvalueerd op effectiviteit. Zo’n evaluatie is ook lastig, want het beleid zelf is vaak onvoldoende specifiek om de te leveren prestaties en te bereiken effecten te kunnen evalueren. 

Tussen doel en effect: een complexe relatie
In het collegeprogramma 2002-2006 is vergeleken met de bakens uit het vorige collegeprogramma een verschuiving opgetreden. Het nieuwe college heeft de aandacht verlegd van effectbeleving naar effectmeting. Dit heeft niet alleen geleid tot andere doelen maar ook tot het gebruik van andere meetmethoden. Zo is de veiligheidsbeleving als rapportcijfer voor het laatst in 2002 gemeten.

De continuïteit van de beoordeling van het beleid komt hierdoor wel in het gedrang. 

Een algemene les van het werken met bakens en meetbare doelen is dat moet worden gezorgd voor steun op ambtelijk en bestuurlijk niveau. Bovendien moeten doelen met een overkoepelend karakter worden gespecificeerd willen zij betekenis hebben. Een andere les is dat er een goede nulmeting beschikbaar moet zijn wanneer besloten wordt een ‘meetlat’ te gaan gebruiken. 

Voor ‘schoon en heel’ en voor ‘veiligheid’ zijn specifieke instrumenten ontwikkeld. De ambitie daarbij is om vooraf de gewenste resultaten of prestaties te bepalen en gaandeweg te volgen of men op koers ligt om de geformuleerde ambitie te realiseren. Voor schoon en heel wordt met de productnormering gemeten wat wordt waargenomen. In die zin is het instrument objectief. Ook het feit dat aan de meting verschillende partijen meedoen draagt bij aan de objectiviteit. Hoe schoon ‘de burger’ vindt dat zijn buurt of stad is, is in de productnormering niet opgenomen. In principe is een koppeling mogelijk tussen de beleidsinspanningen en de bedrijfsvoering, en de effecten in termen van productnormering. Hiervoor dient wel een managementsysteem beschikbaar te zijn, zodat de gegevens gebruikt kunnen worden bij de planning- en controlwerkzaamheden.

Effectiviteit onduidelijk
De koppeling van datgene wat de veiligheidsindex meet aan het gevoerde beleid is gecompliceerder. Een directe relatie met afzonderlijke beleidsprogramma’s, maatregelen en de achterliggende bedrijfsvoering is niet te leggen. Het is daardoor niet duidelijk in welke mate de resultaten zijn bereikt dankzij het gevoerde beleid. Ook is daardoor niet duidelijk of het beleid efficiënter uitgevoerd had kunnen worden. In aanvulling op instrumenten als productnormering en veiligheidsindex zal evaluatieonderzoek nodig blijven om de effectiviteit van beleid te bepalen. Inzicht in die effectiviteit kan mogelijk ook worden vergroot door een systematische vergelijking van de gegevens van wijken en deelgemeenten. 

Het debat tussen raad en college over de mate waarin de gestelde doelen zijn bereikt wordt verlevendigd door het gebruik van deze instrumenten in politiek-bestuurlijke documenten zoals het collegeprogramma. Het debat is concreter van aard dan voorheen juist doordat gebruik wordt gemaakt van een meetinstrument. Ook de communicatie met de samenleving is hiermee gediend. Bovendien is in principe een betere discussie mogelijk over de relatie tussen benodigde inzet, te leveren prestatie en beoogd effect. De beantwoording van de vragen ‘doen we de goede dingen?’ en ‘doen we de dingen goed?’ komen in een directere relatie tot elkaar te staan. Wel moeten instrumenten als de veiligheidsindex onderwerp van inhoudelijke reflectie blijven om te waarborgen dat het politiek-bestuurlijk debat niet gaat over de meetinstrumenten zelf maar over de uitkomsten daarvan en de (maatschappelijke) effecten die zij mogelijk vertegenwoordigen. 

Mr. J.J.G. Bovens is teamleider beleidsonderzoek bij de Rekenkamer Rotterdam.
Dr. G. Molenaar werkte tot 1 september 2005 bij de Rekenkamer Rotterdam en is nu directielid bij de Randstedelijke Rekenkamer. Zij hebben dit artikel geschreven op persoonlijke titel.

Noten
1 Rekenkamer Rotterdam, ‘Bakens in de mist. Resultaatmeting collegeprogramma 1998-2002’ (september 2000); ‘Rommelig Rotterdam. Beleid en uitvoering schoon en heel’ (december 2002); ‘Resultaten tellen. Nulmeting collegeprogramma 2002-2006’ (juni 2003); ‘Veilig zijn, veilig voelen. Het gemeentelijk beleid wijkveiligheid’ (april 2005). Te downloaden via www.rekenkamer.rotterdam.nl.
2 Gemeente Rotterdam, ‘Het nieuwe elan van Rotterdam… en zo gaan we dat doen’, collegeprogramma 2002-2006. Rotterdam, 26 september 2002.
3 Gemeenteraad Rotterdam, 14 november 2002, motie 02GR1264 (motie-Van Ravesteijn).
4 Gemeente Rotterdam, ‘Resultaat op straat 2004-2005’, programma van uitvoering 2004/2005 van Roteb, Stadstoezicht en Gemeentewerken, april 2005.
5 Meer informatie over de veiligheidsindex is te vinden via www.rotterdamveilig.nl.