Effectiviteitsbeoordeling binnen de publieke sector

Effectiviteit binnen de publieke sector
Het begrip ‘effectiviteit’ verwijst doorgaans naar de verhouding tussen gegenereerde effecten en geleverde output, afgezet tegen een norm die voor deze verhouding kan worden opgesteld (Klaassen e.a., 2010). Het begrip veronderstelt dus een relatie tussen de diensten en prestaties (output) die een overheid levert en de effecten die zich als gevolg hiervan voordoen. Doorgaans wordt het begrip synoniem gesteld aan ‘doeltreffendheid’ en in samenhang met het begrip ‘doelmatigheid’ of ‘efficiency’ opgevoerd. Dit laatste begrip betreft dan de verhouding tussen output en input, weer afgezet tegen een norm. Het volgende schema biedt inzicht in de begrippen en hun onderlinge samenhang:

Figuur 1. De begrippen 'doelmatigheid' en 'doeltreffendheid' (Klaassen e.a., 2010, p.32)

De output-input verhouding refereert naar het begrip ‘productiviteit’, terwijl de verhouding tussen effect en output te boek staat als ‘effect-productiviteit’. ‘Doelmatigheid’ is dan de relatie tussen gerealiseerde en gewenste productiviteit, ‘doeltreffendheid’ of ‘effectiviteit’ die tussen gerealiseerde en gewenste effectproductiviteit. Overigens stellen sommige auteurs zich op het standpunt, dat effectiviteit tevens de relatie tussen input en effect kan beslaan: “Het verschil tussen doelmatigheid en effectiviteit is de keuze van de doelvariabele” (Blank, 2010, p. 31).

Knelpunten bij effectiviteitsmeting
Hoe eenvoudig het begrip ‘effectiviteit’ conceptueel ook is, de problemen om het begrip daadwerkelijk vorm te geven in de praktijk van het openbaar bestuur zijn talrijk. Zo zijn de beoogde effecten vooraf niet altijd bekend, of kunnen moeilijk worden geconcretiseerd (Anessi-Pessina en Steccolini, 2005). Daarnaast hanteren verschillende organisaties doorgaans verschillende vormen van effectdefiniëring en toerekening van output, met als gevolg dat een interorganisatorische vergelijking niet goed gemaakt kan worden. Het gevolg daarvan is weer, dat het soms lastig is een valide norm voor de betreffende effect-outputverhouding op te stellen. Ook bestaat doorgaans een zekere weerstand tegen de verankering van het begrip ‘doeltreffendheid’, zeker als dit gekoppeld wordt aan bekostiging of zelfs bezuiniging. Van Dooren e.a. voeren in dit verband de soms lage kwaliteit van het informatiesysteem, knelpunten van psychologische aard, culturele barrières en knelpunten van institutionele aard als meest voorkomende knelpunten op (Van Dooren e.a., 2010).
Het grootste probleem met het meten van effectiviteit ligt echter in het gegeven dat het begrip ‘effectiviteit’ een causaal verband veronderstelt tussen input, proces, output en effect, terwijl dat verband binnen het openbaar bestuur alles behalve eenduidig is. Een voorbeeld kan een en ander verduidelijken. Het betreft de ontwikkeling en verzorging van taalonderwijs voor allochtonen. Conceptueel kan dit proces als in figuur 2 worden weergegeven.

Figuur 2. Het proces van onderwijs

In dit proces worden budgetten beschikbaar gesteld. Vervolgens wordt onderwijs ontwikkeld en daadwerkelijk verzorgd. Op een goed moment worden tentamens afgenomen, hetgeen weer resulteert in een bepaald aantal geslaagden. Zo op het eerste oog lijkt dit proces in termen van effectiviteit eenvoudig te operationaliseren. Effectiviteit kan bijvoorbeeld gedefinieerd worden als de verhouding tussen het aantal geslaagden en het aantal deelnemers aan de tentamens of deelnemers aan het onderwijs. Ook is het mogelijk om in navolging van Blank uit te gaan van de verhouding tussen het aantal geslaagden en de beschikbaar gestelde budgetten voor dit traject.

Een tweede analyse brengt echter de nodige complicaties aan het licht. Zo is het de vraag of de relatie tussen het aantal deelnemers aan de tentamens en het uiteindelijk aantal geslaagden een juiste indicator is voor effectiviteit of eerder gezien kan worden als een indicator voor een selectiebeleid dat erop gericht is enkel de meest capabele deelnemers te laten deelnemen aan een tentamen. Overigens rijst ook de vraag in hoeverre een behaald diploma een juiste effectindicator is voor een proces dat uiteindelijk gericht is op de integratie in de samenleving.

Verder is de relatie tussen budget en het aantal geslaagden gecompliceerd. Sprake is immers van vaste kosten en van variabele kosten. Onder ‘vast’ kan bijvoorbeeld de accommodatie en het management worden gerekend. Onder ‘variabel’ vallen dan bijvoorbeeld kosten die te maken hebben met directe begeleidingsuren. De vaste kosten krijgen echter een variabel karakter als het aantal deelnemers sterk stijgt, zodat meer docenten, meer management en een grotere accommodatie nodig zijn. De omslag van vast naar variabel is weer afhankelijk van de klassengrootte. Ook het omgekeerde doet zich voor: variabele kosten krijgen een vast karakter als de tijdshorizon wordt verkort. Op zeer korte termijn kunnen de kosten voor directe begeleidingsuren immers moeilijk worden aangepast en dit is weer afhankelijk van de contracten die met de leerkrachten zijn aangegaan. Het traceren van cost drivers is dan ook niet altijd eenvoudig. De vraag rijst in hoeverre het aantal deelnemers de cost driver is voor dit proces of dat beter het aantal klassen als cost driver gekozen kan worden. Deze keuze is weer afhankelijk van de verhouding tussen plenaire college-uren en bilaterale begeleiding door de docent. Ook een combinatie van cost drivers kan een optie zijn.

Meer deelnemers hoeven dus niet altijd meer te kosten, maar verhogen wel de kans op meer geslaagden. Als effectiviteit gemeten wordt aan de hand van het aantal geslaagden, dan zouden meer deelnemers de effectiviteit kunnen verhogen zonder dat daadwerkelijk iets verbetert binnen het proces. Sterker zelfs, meer deelnemers zou dan kunnen leiden tot vollere klassen, een lager slagingspercentage, maar wel meer geslaagden in absolute zin. Aan de andere kant vormt het slagingspercentage zelf ook geen goede indicator. Een slagingspercentage van 100% zegt niet veel als het aantal deelnemers uitermate beperkt is. Bovendien speelt ook de doorlooptijd een rol in deze.

Het gevolg van deze redenering is, dat geen eenduidig oordeel over de effectiviteit kan worden geveld. Een organisatie die zeer veel geslaagden aflevert tegen een lage kostprijs per deelnemer, maar een zeer laag slagingspercentage kent, heeft vermoedelijk een lage kwaliteit van onderwijs. Aan de andere kant is de kwaliteit van onderwijs met een hoog slagingspercentage, maar met een zeer beperkt aantal deelnemers en een zeer lange doorlooptijd vermoedelijk niet veel hoger.

Ook leveren exogene factoren de nodige complicaties op. Zo is de kwaliteit van de instroom in dit verband van belang en deze is wellicht weer afhankelijk van de vestigingslocatie van de organisatie. Uiteraard spelen het land van herkomst en de vooropleiding van de deelnemers hierbij ook een rol. De aansturingsvorm van de budgetverstrekker heeft eveneens consequenties voor de manier waarop het proces wordt ingericht. Hoewel het logisch is te veronderstellen dat het primaire proces als uitgangspunt wordt genomen en vervolgens een aansturingsvorm gekozen wordt, is de praktijk vaak andersom: door het kiezen van een bepaalde aansturingsvorm worden de primaire processen op een bepaalde manier gestructureerd met alle neveneffecten als gevolg van dien. Uiteraard is de lijst van exogene factoren bijna onuitputtelijk. De reputatie van het opleidingsinstituut, het rijksbeleid, het gemeentelijke locatiebeleid, de kwaliteit van de docenten, etc. zijn allemaal factoren welke de uiteindelijke effectiviteit van dit proces kunnen beïnvloeden, ongeacht hoe de effectiviteit zelf wordt gedefinieerd.

Het proces heeft wel beschouwd dan ook meer weg van het volgende model (zie figuur 3).

Figuur 3. Het proces van onderwijs nader bezien (klik op figuur voor vergroting)

De bovenstaande complicaties maken, dat de relatie tussen ingezet budget, proces, output en uiteindelijk effect zeer zeker niet eenduidig is. Het gevolg is dan, dat het traceren van effectiviteit eveneens minder eenduidig kan plaatsvinden aangezien het concept ‘effectiviteit’ veronderstelt dat juist de inzet van budgetten en het voeren van een bepaald proces tot het genereren van bepaalde effecten leidt. Een eenduidig oordeel is dan ook niet altijd mogelijk.

Een onderzoek dat in het voorjaar van 2010 is uitgevoerd in het verlengde van het bovenstaande voorbeeld kan ter illustratie een en ander duidelijk maken. Een organisatie die zich richt op de verzorging van taalonderwijs voor allochtonen kent twee gemeenten als contractpartner. Het overzicht als in de tabel kan gegenereerd worden.

Tabel. Vergelijking input en output taalonderwijs tussen twee gemeenten

Omdat de twee gemeenten zaken doen met een en dezelfde opdrachtgever, worden een aantal contextvariabelen constant gehouden. Zo wordt voor beide gemeenten dezelfde manier van kostentoerekening en administreren gehanteerd, is de kwaliteit van de deelnemers redelijk vergelijkbaar, etc. De instelling werkt op basis van prestatiebekostiging voor de twee gemeenten. Per geslaagde ontvangt de instelling een bepaald bedrag met een bepaalde maximum, het jaarbudget. Zo op het oog doet gemeente 1 het in de aansturing beter dan gemeente 2. Het aantal geslaagden ligt bij gemeente 1 hoger dan bij gemeente 2: 121 voor gemeente 1,78 voor gemeente 2. Ook is het besteed budget per geslaagde voor gemeente 1 lager: d 413 per geslaagde voor gemeente 1, d 769 per geslaagde voor gemeente 2. Dit oordeel wordt echter genuanceerd indien het percentage geslaagden in ogenschouw wordt genomen. Gemeente 1 kent een veel lager slagingspercentage dan gemeente 2. Het beeld wordt verder genuanceerd indien de daadwerkelijke kostprijs als uitgangspunt wordt genomen en niet zozeer de bekostiging door de twee gemeenten. Het verschil tussen de daadwerkelijke kostprijs en het ontvangen budget wordt door de instelling verhaald op de deelnemers in de vorm van een eigen bijdrage (die overigens in sommige gevallen weer gedeclareerd kan worden bij de gemeente, maar dan binnen een andere begrotingspost).

Het verschijnsel dat het gebruik van partiële kengetallen kan leiden tot verschillende uitkomsten en oordelen over de effectiviteit wordt regelmatig als een groot bezwaar opgevoerd (Blank, 2010). Aan de andere kant gaan pogingen om tot integrale kengetallen te komen voorbij aan het wezenlijke probleem. Het probleem is immers niet zozeer het toekennen van gewichten aan de verschillende effecten en factoren (hoewel dit lang niet altijd eenvoudig is), maar ligt eerder in het feit dat geen inzicht bestaat in de samenhang van de diverse factoren en in de relatie die tussen input, proces, output en effect kan bestaan.

Een andere visie op effectiviteitsmeting
Het lijkt hoog tijd om op zoek te gaan naar een andere benadering van effectiviteitsonderzoek. De meeste vormen van effectiviteitsmeting beogen een oordeel over de gerealiseerde effectiviteit af te geven. Hiertoe zal de gerealiseerde effectproductiviteit vergeleken moeten worden met de beoogde effectproductiviteit. De bovenstaande uitwerking maakt echter duidelijk, dat, zolang de relatie tussen input, proces, output en effect minder inzichtelijk en causaal is, een oordeel over de effectiviteit eveneens minder valide is. In plaats van een dergelijke relatie te veronderstellen zou daarom eerst bezien moeten worden, hoe causaal het proces eigenlijk is en welke factoren nu precies van belang zijn. Dit vereist een geheel ander type onderzoek. Het klassieke effectiviteitsonderzoek richt zich immers op het inzichtelijk maken van gerealiseerde effecten, ingezette middelen en geleverde output en vergelijkt deze variabelen het liefst kwantitatief met voorop gestelde normen. Zinvol effectiviteitsonderzoek zou zich echter eerder moeten richten op de vraag in hoeverre een variabele een andere variabele beïnvloedt. De onderzoekslogica is daarbij wezenlijk anders. Het klassieke type onderzoek stelt vooraf een aantal normen en criteria op en beziet vervolgens in hoeverre de praktijk aan deze normen en criteria voldoet. De verklarende onderzoeksvariant vraagt zich af in hoeverre een bepaalde variabele in staat is om een andere variabele te beïnvloeden en wat de aard van de relatie precies is. Het bovenstaande voorbeeld indachtig zal het klassieke effectiviteitonderzoek het gerealiseerde aantal geslaagden, het percentage geslaagden, de kostprijs en de gedeclareerde budgetten vergelijken met een vooraf gestelde norm en bezien hoe een gekozen verhouding gemaximaliseerd kan worden. Het tweede type onderzoek zal zich eerder richten op de aard van de relaties, zoals bijvoorbeeld de relatie klassengrootte en slagingspercentage en bezien hoe deze relatie precies in elkaar steekt. Het nadeel van het tweede type onderzoek is uiteraard, dat geen oordeel over de effectiviteit kan worden geveld. Aan de andere kant kan men beter geen oordeel dan een verkeerd oordeel vellen.

Om een relatie te doorgronden worden concepten vaak causaal van links naar rechts gepresenteerd. De variabelen die links zijn geplaatst worden dan geacht de meer rechts geplaatste variabelen te beïnvloeden. Het begrijpen van de relatie verloopt dan doorgaans ook van links naar rechts. Het nadeel hiervan is echter, dat men dan al uitgaat van een bepaalde waarde van de onafhankelijke variabele en van een causale relatie en dus voorbij kan gaan aan de invloed van andere variabelen. Zo wordt bijvoorbeeld al uitgegaan van een bepaalde hoeveelheid colleges om tot een bepaald slagingspercentage te komen. De vraag blijft dan bestaan, hoe hoog dit slagingspercentage zou zijn geweest als in het geheel geen les zou zijn gegeven en in hoeverre andere variabelen niet veel belangrijker zijn voor het slagingspercentage. Het inzicht in deze vraag kan men bevorderen door niet alleen van links naar rechts, maar ook van rechts naar links te redeneren. Vanuit een bepaald slagingspercentage wordt dan vervolgens bezien welke variabelen daar nu het meest invloed op hebben uitgeoefend.

Om tot een nog beter inzicht te komen, zal men de aard van de relaties die tussen variabelen kan bestaan moeten begrijpen. Nu zijn zeer veel manieren mogelijk om de aard van relaties te beschrijven, maar in dit verband zijn de kenmerken voldoende en noodzakelijk het meest relevant. Een onafhankelijke variabele is noodzakelijk als de afhankelijke variabele niet kan wijzigen zonder dat de onafhankelijke variabele is gewijzigd. Een onafhankelijke variabele is voldoende, als deze variabele op zichzelf in staat is om een afhankelijke variabele te laten wijzigen. Het belang hiervan is groot. Mocht een relatie immers noodzakelijk en voldoende zijn, dan zal de effectiviteitsonderzoeker zich niet snel meer richten op andere variabelen. Dit verandert evenwel als de relatie niet noodzakelijk en niet voldoende wordt bevonden. In dat geval zullen andere variabelen gevonden moeten worden die het uiteindelijke effect bepalen.

De bovenstaande insteek onderstreept niet alleen het belang van een beleidstheorie, maar ook het nut van hypothesen die uiteindelijk kunnen leiden tot het modificeren van een bepaald voorondersteld verband.

Conclusies
Hoe populair en noodzakelijk effectiviteitsmeting en -beoordeling binnen het openbaar bestuur ook is, het daadwerkelijk verrichten van effectiviteitsonderzoek is niet altijd makkelijk. Verschillende auteurs wijzen op verschillende knelpunten die zich voordoen bij het traceren van de effectiviteit van processen binnen het openbaar bestuur. Zoals de bovenstaande illustratie echter duidelijk maakt, is een van de grootste problemen gelegen in het feit dat het concept ‘effectiviteit’ een bepaalde causaliteit tussen input, proces, output en effect veronderstelt, welke in de praktijk soms veel complexer en soms in het geheel afwezig blijkt te zijn. Dit maakt dat een eenduidig oordeel over de effectiviteit niet altijd gegeven kan worden.

Zinvol effectiviteitsonderzoek zou zich daarom niet zozeer moeten richten op een oordeel over de gerealiseerde effectiviteit, maar eerder op het traceren van de relevante factoren en het doorgronden van de aard van de relevante verbanden. Dit vereist een ander type effectiviteitsonderzoek. In plaats van het opstellen van een normenkader en het vergelijken van de gerealiseerde scores met dit kader, worden de relevant geachte variabelen geoperationaliseerd en wordt bezien in hoeverre de variabelen in staat zijn elkaar te beïnvloeden. De onderzoeksvraag heeft dan niet zozeer het karaker van: hoe kan de inzet van a tot de hoogst mogelijke b leiden, maar eerder de vorm van: wat is de aard van de relatie tussen a en b? Daarbij houdt de onderzoeker zoveel mogelijk oog voor verschillende variabelen en probeert de onderzoeker tevens de aard van de relaties in termen van noodzakelijk en voldoende te beschrijven. In dit tweede type onderzoek is het belang van een beleidstheorie groot, maar is het belang van de mogelijkheid om de vooronderstelde verbanden te modificeren niet minder.

Uiteraard heeft dit type effectiviteitsonderzoek een verklarend en geen normerend karaker en leidt dit type onderzoek niet tot een uitspraak over de gerealiseerde effectiviteit. Aan de andere kant velt een goed onderzoeker liever geen oordeel dan een verkeerd oordeel over de mate van effectiviteit.

Rick Anderson is lector Controlling bij Hogeschool Inholland

Literatuur

• Anessi-Pessina, E., Steccolini, I., ‘Evolutions and Limits of New Public Management Inspired Budgeting Practices in Italian Local Governments’, in: Public Budgeting and Finance, Blackwell Publishing, Summer 2005.
• Blank, J.L.T. (2010), Principes van Productiviteitsmeting, Maastricht, Shaker Publishing BV.
• Dooren, W. van, Bouchaert, G., Halligan, J. (2010), Performance Management in the Public Sector, London, Routledge.
• Klaassen, H.L., Anderson, R.J., Maks, H., ‘Doelmatigheid: puzzel voor het openbaar bestuur’, in: Verlet en Devos (red.): Efficiëntie en effectiviteit van de publieke sector in de weegschaal, Studiedienst van de Vlaamse Regering, Sint-Niklaas, Room, 2010.