Gebrek aan effectiviteitsonderzoek door rekenkamers

29 oktober 2012 om 13:33 door Rolf Willemse 0 reacties

Onderzoeken waarin rekenkamers de doeltreffendheid van het bestuur of beleid onder de loep nemen, zijn relatief klein in aantal. Zij beperken zich vaak tot een analyse van de voorwaarden om tot effectief beleid te komen, zoals een goed vormgegeven subsidiebeleid, of tot de conclusie dat er vanwege gebrek aan gegevens geen zicht is op de effecten van beleid. Raakt het instrument van rekenkameronderzoek zo niet sleets?

Rekenkamers doen zelden een onderzoek waarin de effecten van ingezette instrumenten worden beoordeeld, terwijl de wet dit wel verlangt. Er zijn diverse obstakels voor dergelijk onderzoek, maar deze zijn allemaal goed aan te pakken. Voorwaarde is dat rekenkamers niet al te star vasthouden aan wetenschappelijke mores, maar voldoende oog houden voor wat de raad van rekenkamerrapporten vraagt.

Gebrek aan effectiviteitonderzoek
Volgens artikel 182 van de Gemeentewet onderzoekt de lokale rekenkamer “de doelmatigheid, de doeltreffendheid en de rechtmatigheid van het door het gemeentebestuur gevoerde bestuur.” In 2004 werd de gemeentelijke rekenkamer(functie) verplicht. Een blik op site van de branchevereniging NVRR leert dat er sindsdien veel rapporten zijn verschenen.

Onderzoeken waarin de doeltreffendheid van het bestuur of beleid onder de loep worden genomen, zijn daarbij relatief klein in aantal. Bovendien gaan onderzoeken die dat pretenderen, in de kern vaak niet over doeltreffendheid. Daarentegen beperken zij zich nogal eens tot een analyse van de voorwaarden om tot effectief beleid te komen (zoals een goed vormgegeven subsidiebeleid) of tot de conclusie dat er vanwege gebrek aan gegevens geen zicht is op de effecten van beleid.

Dergelijke uitkomsten zijn teleurstellend, omdat zij in feite beperkt blijven tot de eerste fasen van het beleid, namelijk die van de ontwikkeling en de uitvoering. Of het beleid in maatschappelijke zin wat heeft opgeleverd blijft onduidelijk.

Belang van effectiviteitonderzoek
Kennis van de maatschappelijke zin van beleid raakt echter wel een raison d’être van het overheidshandelen. Dat is immers gericht op het teweegbrengen van bepaalde maatschappelijke veranderingen door de inzet van middelen en instrumenten. Enkel vragen of middelen sober of op een correcte en rechtmatige wijze worden ingezet, zijn in dat opzicht van secundair belang.

Een andere reden waarom effectiviteitonderzoek door rekenkamers van belang is, betreft hun eigen meerwaarde. Wanneer een rekenkamer(commissie) zich vooral beperkt tot de boodschap dat er meetbare doelen moeten worden geformuleerd, of dat er procedures moeten worden vastgelegd en gevolgd, er gegevens moeten worden verzameld of dat de effecten van beleid niet zijn vast te stellen, maakt het instrument van het rekenkameronderzoek al snel bot.¹ De effectiviteit van de rekenkamer zelf zal gebaat zijn bij een variatie aan typen onderzoeken en daarmee verschillende typen boodschappen. Daar horen zonder meer uitspraken over de effecten van het beleid bij.

Oorzaken
Bij effectiviteit gaat het om de relatie (causaliteit) tussen de inzet van instrumenten en het bijbehorende doel dat al dan niet wordt bereikt. effectiviteitonderzoek besteedt juist daaraan aandacht.² Hoe komt het nu dat er zo weinig rekenkameronderzoek is dat dergelijke causaliteit werkelijk centraal stelt? Er zijn weinig publicaties verschenen, waarin mogelijke verschillende verklaringen systematisch worden besproken.³ De hier gegeven verklaringen zijn gebaseerd op de vele gesprekken die de auteur in acht jaar rekenkamerervaring tijdens verschillende gelegenheden met andere rekenkamermedewerkers heeft gevoerd

Vier obstakels zullen onderstaand de revue passeren. Onder meer aan de hand van door de rekenkamer Rotterdam uitgevoerde beleidsonderzoeken zal worden getoond hoe deze obstakels vaak relatief eenvoudig uit de weg gegaan kunnen worden en er geen verontschuldigingen zouden mogen zijn om geen werkelijk effectiviteitonderzoek te verrichten.

Obstakel 1: geen meetbaar geformuleerde doelen
Een reden voor het achterwege laten van effectiviteitonderzoek is de afwezigheid van heldere door het bestuur meetbaar geformuleerde beleidsdoelstellingen. Dit is inderdaad een veel voorkomend euvel, getuige de vele rekenkameronderzoeken die inmiddels zijn verschenen. Niet-meetbaar geformuleerde doelen zijn echter vooral een probleem als het de bedoeling is het bestuur aan te spreken op de realisatie van zijn doelen. Immers, als vooraf geen bestuurlijke norm is gesteld, kan daaraan ook niet worden getoetst.

Maar ook dit hoeft een effectiviteitmeting in het geheel niet in de weg te staan. Zo kan ook zonder door het bestuur meetbare geformuleerde doelen getracht worden een relatie te leggen tussen de inzet van een instrument (bijvoorbeeld de inzet van leerplichtambtenaren) en de effecten daarvan (bijvoorbeeld het terugdringen van schoolverzuim). uiteraard vooropgesteld dat er gegevens beschikbaar zijn of verzameld kunnen worden. In het geval er van een causaliteit sprake blijkt te zijn, kan hoe dan ook de conclusie worden getrokken dat het instrument effect heeft. Het enige dat niet kan, is op basis van de tot dan beschikbare informatie een uitspraak of het instrument ook voldoende effectief is. Dit hoeft echter helemaal niet problematisch te zijn. Immers, een rekenkamerrapport wordt in de raad of commissie behandeld. Wanneer het politieke debat daadwerkelijk over de uitkomsten van het onderzoek wordt gevoerd, zal vanzelf de kwestie aan de orde komen of de gerealiseerde effecten voldoende zijn. In zekere zin wordt door de politiek dan niet vooraf, maar achteraf bepaald wat de wenselijke uitkomsten van het beleid zijn.

Obstakel 2 en 3: geen nulmeting of variatie in de gegevens
Een nulmeting is van belang om de gevolgen van de inzet van een instrument in kaart te brengen. Vaak is echter de politieke realiteit dat een instrument ter bestrijding van een (vermeend) probleem wordt ingezet, zonder dat het bestuur vooraf een uitgebreide nulmeting doet. aangezien rekenkamers in onderzoek meestal terugkijken, zal de rekenkamer niet zelf (meer) een nulmeting kunnen verrichten. Daarmee ontbreekt een mogelijkheid om gegevens van de situatie na de inzet van het instrument te vergelijken met een situatie vooraf.

Een nulmeting kan in sommige gevallen echter worden ‘gereconstrueerd’, bijvoorbeeld door middel van het meten van percepties. In een vragenlijst kan aan respondenten worden gevraagd naar hun gevoelens, beleving, opvattingen e.d. van vóór de inzet van het beleidsinstrument. Hieraan zijn problemen met de betrouwbaarheid verbonden (hoe goed is het geheugen van de respondenten?), dus dit type vraag dient met de nodige omzichtigheid te worden gehanteerd. Deze suboptimale oplossing mag evenwel niet op voorhand een reden zijn, haar niet te kiezen. De genoemde problemen gelden immers evengoed voor diepte-interviews (die overigens ook bij wijze van controle aanvullend kunnen worden gehouden) en bovendien zal het betrouwbaarheidsrisico verschillen per type respondent (zie kader 1).

1 Vitaliteit van sportverenigingen
In een onderzoek naar de effecten van verenigingsondersteuning op de vitaliteit van sportverenigingen (geoperationaliseerd in tien criteria) ontbrak een nulmeting. Daarom is sportbestuurders voor elk criterium gevraagd hoe de vereniging enkele jaren geleden (vóórdat de mogelijkheid van ondersteuning bestond) scoorde. Ook is gevraagd hoe de vereniging nu scoort. Dit is gedaan voor verenigingen die wel en geen ondersteuning ontvingen. Veel respondenten gaven aan dat de vitaliteit van hun vereniging was veranderd. Aangezien het respondenten betrof die zich min of meer op professionele wijze met de organisatie bezig hielden, is er niet op voorhand te twijfelen aan de betrouwbaarheid van hun antwoorden. Aanvullende diepteinterviews met sportbestuurders bevestigden op dit punt de uitkomsten uit de enquêtes (De bal is rond, 2009).

Ten tweede is een nulmeting niet altijd per se nodig, in het bijzonder bij onderzoek naar het gebruik door bepaalde doelgroepen van bepaalde voorzieningen. De zogenoemde eindgebruiker van het beleid kan rechtstreeks worden gevraagd wat voor hem of haar de effecten zijn van door de gemeente aangeboden diensten. Dit is weliswaar tijdrovend, maar het levert vaak inzichten op die je als onderzoeker anders niet zou hebben gekregen (zie kader 2).

2 Overbelasting van mantelzorgers
De gemeente Rotterdam ontwikkelde een heel scala aan producten om overbelaste mantelzorgers te verlichten (respijtzorg, praatgroepen, parkeerpassen, mantelzorgcontracten e.d). De welzijnsinstellingen werden geacht door middel van een speciaal meetinstrument (de CSI) de overbelasting van nieuw binnengekomen mantelzorgers te meten en te registreren. Tijdens het onderzoek bleek dat de welzijnsinstellingen dit instrument niet hanteerden en zo goed als iedere mantelzorger als overbelast registreerden. Hiermee was er geen nulmeting om het effect van de producten te meten. De rekenkamer heeft vervolgens zelf met diepte-interviews de mate van overbelasting gemeten met gebruik van de CSI. Aan de desbetreffende mantelzorgers is gevraagd welke vormen van ondersteuning zij hebben gehad en aan welke vormen zij behoefte hebben. Aan de door de gemeente geboden producten bleek helemaal geen behoefte te bestaan. Dit gecombineerd met het feit dat de mantelzorgers (nog) overbelast waren, leidde tot de conclusie dat het beleid niet effectief was (Geen zorg minder, 2010).

Een derde mogelijkheid is een vergelijkingsgroep als nulmeting te zoeken. Een dergelijke groep kan ook een oplossing vormen voor een derde obstakel, namelijk het gebrek aan variatie in gegevens. Om effecten van instrumenten in kaart te brengen, is namelijk variatie in zowel de afhankelijke (doelen) als onafhankelijke variabelen (de instrumenten) onontbeerlijk. Ontbreekt deze bij de onderzochte populatie, selectie of steekproef, dan kan door toevoeging van een (extra) vergelijkingsgroep deze variatie als het ware alsnog worden gecreëerd. Stedelijke gegevens die in de tijd geen verschillen tonen, zouden bijvoorbeeld gesplitst kunnen worden naar gegevens per wijk, die wellicht wél variatie vertonen. Een vergelijking met gevallen buiten het eigen domein van de rekenkamer – zoals andere gemeenten – kan eveneens soelaas bieden (zie kader 3).

3 Zwartrijders
De Rekenkamer Rotterdam wilde de effectiviteit van tramconducteurs op onder meer zwartrijden onderzoeken. Het probleem is dat er al sinds 2003 op iedere Rotterdamse tram een conducteur zit. Een vergelijking tussen lijnen zonder conducteur en met conducteur is daarmee niet mogelijk. Aangezien er vóór 2003 geen zwartrijdpercentages ter beschikking stonden, kon een vergelijking door de tijd evenmin. Een vergelijking met Den Haag en Amsterdam bood uitkomst. In alle Haagse en enkele Amsterdamse lijnen zonder conducteur was het zwartrijdpercentage in 2010 boven de 10%, waar dat in de Rotterdamse lijnen 4% was (Veilig op weg, 2011).

Zelfs als er onverhoopt helemaal geen identieke vergelijkingsgegevens beschikbaar zijn, is er nog een mogelijkheid, namelijk van een secundaire literatuurstudie. Dit was in het voorbeeld van de Rotterdamse tramconducteurs bijvoorbeeld nodig om hun effecten op de veiligheidsgevoelens in kaart te brengen. In dat geval is gezocht naar andere (wetenschappelijke) studies, waarin een verband wel was onderzocht. Daarvan bleken er meerdere te zijn, met als uitkomst dat de aanwezigheid van conducteurs positief bijdraagt aan de veiligheidsgevoelens. Dit was voldoende grond om te stellen dat de Rotterdamse conducteur waarschijnlijk bijdraagt aan de veiligheidsgevoelens van reizigers. Het adjectief waarschijnlijk is gebruikt, omdat we dit voor de Rotterdamse situatie op methodische gronden niet met voldoende zekerheid konden vaststellen.

Obstakel 4: vaststellen van causaliteit
Het grootste methodische obstakel voor effectiviteitonderzoek is wel de moeilijkheid om ondubbelzinnig causaliteit tussen de inzet van een instrument en het doel vast te stellen. In het geval van het gebruik van concrete voorzieningen is dit nog wel te doen, zoals in het voorbeeld van de mantelzorgers: als mantelzorgers bepaalde diensten niet afnemen omdat zij daaraan geen behoefte hebben, zal de gemeente met deze diensten haar doelen sowieso niet kunnen realiseren.
Lastiger is het bij effectdoelstellingen, waarvan het vastgestelde effect door meerdere andere variabelen kan worden beïnvloed. Hoe stel je dan vast dat het ingezette instrument doorslaggevend is geweest? Zaken als sociale cohesie, grotere veiligheidsgevoelens of een evenwichtige inkomenssamenstelling zijn in dat verband bijna onmogelijke doelstellingen. Om voor zogenoemde exogene variabelen te controleren, is het strikt genomen noodzakelijk een controlegroep te vinden, waar het betreffende instrument (bijvoorbeeld re-integratietrajecten) niet is ingezet. Vertoont deze groep dezelfde verandering als de onderzochte groep waar het instrument wel is ingezet (een daling van het aantal bijstandscliënten), dan is niet uit te sluiten dat de verandering door andere factoren komt (zoals economische groei of strengere uitkeringsregels).

Een oplossing is om geen causaliteit te willen vaststellen, maar deze op waarschijnlijkheid of aannemelijkheid te gaan beoordelen. Hiervoor is al het voorbeeld gegeven van het gebruik van andere studies die iets kunnen zeggen over de effecten van bepaalde instrumenten. Op grond daarvan kunnen conclusies worden getrokken over de (on) waarschijnlijkheid dat een bepaald instrument (zoals mobiele controleteams voor het openbaar vervoer) een effect heeft op een bepaalde variabele (veiligheidsgevoelens van reizigers). Om te kunnen stellen dat een effect aannemelijk is, is het van belang zoveel mogelijk andere relevante factoren in kaart te brengen en van deze elk afzonderlijk zo goed mogelijk hun mogelijke effecten in kaart te brengen. Dit kan op allerlei manieren, waaronder het gebruik maken van andere studies, extra vergelijkingen en scenarioberekeningen (zie kader 4).

4 Inkomenssamenstelling
Om de effecten van de start van de bouw van 3.000 duurdere woningen per jaar op de inkomenssamenstelling van Rotterdam vast te stellen, is niet alleen gekeken naar de inkomens van vestigers en vertrekkers, maar ook naar sloop-, leegstand- en verkoopcijfers. Bovendien is met verschillende effecten op verschillende niveaus rekening gehouden (stedelijk, deelgemeentelijk en buurtniveau). Ook is aan de hand van scenarioberekeningen gekeken of bepaalde mutaties in de woningvoorraad omvangrijk genoeg kunnen zijn geweest, om bepaalde veranderingen in de inkomenssamenstelling te bewerkstelligen (Een steentje bijgedragen, 2007).

Een andere strategie is om niet op het hoogste effect- of outcomeniveau de analyse te plegen, maar de analyses als het ware enkele niveaus lager te doen. Veel beleid is namelijk in doelbomen samen te vatten, waarbij elke laag (tussen)doelen vormt. Hoe lager in de boom, des te gemakkelijker is er een eenduidige relatie te leggen tussen een instrument (of het ene doel) en een (ander) doel. Wanneer daar de causaliteit ontbreekt, dan is het onaannemelijk dat het instrument effectief bijdraagt aan het hoger gelegen doel. Is de causaliteit er wel, dan is deze bijdrage in principe aannemelijk (zie kader 5).Wellicht dat extra aanvullende analyses, zoals hiervoor genoemd, noodzakelijk zijn om de aannemelijkheid verder afdoende te kunnen onderbouwen.

5 Wijkveiligheid
In Rotterdam worden zogenoemde stadsmariniers in wijken met een lage score op de wijkveiligheidsindex ingezet, om de wijkveiligheidsscore te doen toenemen. Nu wordt deze score door veel objectieve en subjectieve veiligheidsindicatoren bepaald. Het effect van het optreden van een stadsmarinier op de wijkveiligheid is daarmee nauwelijks te isoleren. Om toch iets te kunnen zeggen over de effectiviteit van de stadsmarinier was het noodzakelijk het optreden van de stadsmarinier in concrete acties te ontleden (bijvoorbeeld diverse maatregelen om overlast van MOE-landers – Midden- en Oost-Europeanen – tegen te gaan) en van elk daarvan het resultaat te beoordelen. Is dit positief (de acties worden daadwerkelijk ondernomen) en de bijbehorende verschillende effectindicatoren laten een positief beeld zien (er is minder illegale bewoning; er zijn minder overlastmeldingen), dan is het aannemelijk dat de stadsmarinier een positief effect heeft op de wijkveiligheid, zij het dat dit niet (direct) in het totaalcijfer zichtbaar zal zijn (Handhaven van stadsmariniers, 2010).

Wetenschappelijke versus politiekbestuurlijke mores
In dit artikel zijn verschillende mogelijkheden geopperd om de vermeende obstakels voor rekenkamers om effectiviteitonderzoek te doen, uit de weg te gaan. er zullen altijd onderwerpen blijven, waarbij zulk onderzoek echt niet mogelijk is. Toch kan er veel meer dan menig rekenkameronderzoeker zal denken. maar ook dan zal tegengeworpen worden dat met de hier geschetste oplossingen effectiviteit van beleid niet ondubbelzinnig kan worden vastgesteld.

Het is zeker zo dat causaliteit tussen de inzet van een bepaald instrument en eventuele doelbereiking het meest ondubbelzinnig kan worden bepaald door middel van een dubbelblind uitgevoerd experiment (met een voor- en nameting en met controlegroepen), uitvoerig op validiteit geteste indicatoren en strenge significantieniveaus. Het betreft hier echter methodologische procedures die hun grondslag vinden in het natuurwetenschappelijke domein. Deze worden daar terecht heel streng toegepast (in de geneeskunde zouden er anders misschien slachtoffers vallen), maar het is sterk de vraag of zij in de rekenkamercontext wel in dezelfde mate zo leidend moeten zijn. In ieder geval niet zodanig, dat zij volledig normstellend voor goed onderzoek moeten worden. Zou hier toch rigide aan worden vastgehouden, dan is elk effectiviteitonderzoek zo goed als onmogelijk. rekenkamers komen dan uiteindelijk niet verder dan boodschappen dat doelen niet SMART zijn, gegevens moeten worden verzameld et cetera.

Bestuurders en politici vragen van een rekenkamer echter geen wetenschappelijke studies, maar op feiten gebaseerde analyses, waarmee de raad het debat met het college aan kan en op basis waarvan besluitvorming gepleegd kan worden. Daarbij moeten zij primair gevoed worden met informatie waar zij wat mee kunnen en dat is lang niet altijd met een conclusie dat effecten niet kunnen worden vastgesteld. Onderzoeken die iets zeggen over de waarschijnlijke of aannemelijke effecten van het beleid, faciliteren het debat al behoorlijk. Vanuit dat perspectief is er voor de rekenkamerwereld geen principiële reden om zo zuinig met effectiviteitonderzoek te zijn.

Dr. R. Willemse is teamleider Beleidsonderzoek bij de rekenkamer Rotterdam (r.willemse@ rekenkamer.rotterdam.nl).

Noten
¹ Zie ook het essay van K. Peters, ‘De moeilijkheid met effectiviteitonderzoek’, in: E. Boers e.a. (red.), De gracieuze rekenkamer, Réunion, 2010.
² Effectiviteitonderzoek wordt hier dus niet beperkt tot onderzoeken waarin sprake is van een (quasi-)experimentele opzet.
³ Wel geeft K. Peters (zie noot 1) enkele verklaringen die ook in dit artikel worden gebruikt.

Lijst van aangehaalde rapporten

Rekenkamer Rotterdam, ‘Een steentje bijgedragen. Inkomenseffecten van woningbouw in Rotterdam’, april 2007.
Rekenkamer Rotterdam, ‘De bal is rond. Effecten van verenigingsondersteuning op sportparticipatie’, juni 2009.
Rekenkamer Rotterdam., ‘Geen zorg minder. Effecten van ondersteuning overbelaste mantelzorgers’, mei 2010.
Rekenkamer Rotterdam, ‘Handhaven van stadsmariniers. Effecten van stadsmariniers op veiligheid’, november 2010.
Rekenkamer Rotterdam, ‘Veilig op weg. Effecten stadsregionaal beleid op sociale veiligheid openbaar vervoer’, december 2011.

Deze rapporten zijn te raadplegen op en te downloaden van www.rekenkamer.rotterdam.nl