Prestatiegegevens: nuttig voor sturing van gemeentelijke taken?

De per 2004 in gemeenten en provincies algemeen ingevoerde programmabegroting streeft ernaar niet alleen prestatiegegevens over producten vast te leggen, maar ook omtrent de effecten (‘outcomes’) van het beleid. De ambities worden hiermee dus nog hoger gelegd, want het bepalen van de effecten van beleid is vaak nog aanzienlijk lastiger dan het meten van de ‘outputs’, wat in veel gevallen ook al geen sinecure is.

Prestaties meten: enkele ervaringen
Sommige gemeenten melden vooral positieve ervaringen met prestatiemeting. Toch komt uit het in Nederland verrichte onderzoek in totaliteit een beeld naar voren waaruit ook twijfel spreekt over de kwaliteit en het nut van kengetallen en prestatiemeting en in het bijzonder de informatie in productbegrotingen, tussentijdse of managementrapportages en jaarrekeningen.
Moret constateerde in 1997 dat circa 75% van de Nederlandse gemeenten een productbegroting had ingevoerd. Nadien kan dat percentage nog iets zijn toegenomen. Vooral grotere gemeenten maakten veel gebruik van productbegrotingen. Zo bezien kan dus worden gesteld dat, mede door het BBI-project, veel gemeenten kengetallen en andere prestatiegegevens zijn gaan vermelden in hun begrotingen.
Aardema constateerde echter in 2002 dat veel gemeenten ‘op papier’ een productbegroting hadden ingevoerd, maar dat de praktische meetbaarheid en bruikbaarheid van prestatiegegevens voor politiek, bestuur en management twijfelachtig waren. De matige kwaliteit werd mede veroorzaakt doordat sommige gemeenten ‘voor het oog van de wereld’ wel prestatiegegevens wilden vermelden, maar niet in staat of bereid waren werkelijk tijd en geld te steken in een goede ontwikkeling ervan.²

Oordeel van ambtelijk managers over de beschikbare gegevens
Van Helden verrichtte in 1997-1998 onderzoek in acht middelgrote gemeenten, waarvan er zes een productbegroting hadden. Het hogere management in de desbetreffende gemeenten stelde dat over het geheel genomen de kwaliteit van de aan de gemeenteraad verstrekte informatie over financiën en prestaties beter was dan voorheen. In wat mindere mate waren zij van mening dat tevens meer aandacht werd geschonken aan efficiëntie. Zij gaven echter aan dat nauwelijks sprake was van bijvoorbeeld meer aandacht voor effectiviteit (outcomes) en het creëren van meer zakelijke, bedrijfsmatige verhoudingen binnen de organisatie. Uit onderzoek van Welschen in 1996-1997 bij zestien middelgrote en kleinere gemeenten bleek dat er vaak geen concreet geformuleerde doelstellingen per product waren, waarover ook werkelijk verantwoording werd afgelegd.
Het verstrekken van prestatie-informatie was voor de sectoren en afdelingen dikwijls een vanuit het centrale niveau opgelegde verplichting, waar men zelf weinig belang bij had, aldus het onderzoek van Van Helden. Daarnaast gaven de managers onder meer aan dat de ‘planningattitude’, de mate waarin financiële en economische gegevens een duidelijke rol spelen in de besluitvorming, bij zowel managers als politieke bestuurders vrij zwak ontwikkeld was.
Van Helden stelde vast, op basis van onderzoek van de productbegrotingen voor 1999 van negen Nederlandse gemeenten, dat het bij ongeveer 70% van de erin opgenomen kengetallen en andere prestatiegegevens in feite slechts ging om cijfers over aantallen en hoeveelheden. Het betrof bijvoorbeeld informatie over aantallen bezoekers, of beschikbare of geleverde aantallen van bepaalde voorzieningen of producten (aantal openbare basisscholen, aantal bijstandsgerechtigden, aantal tonnen opgehaald huisvuil, e.d.). Van Helden twijfelt aan de relevantie van dergelijke gegevens omdat ze dikwijls nauwelijks beheersbaar zijn voor de gemeente.³

De mening van politieke bestuurders over de beschikbare gegevens
Ook wethouders toonden zich tamelijk kritisch over de beschikbare kengetallen en andere prestatiegegevens, zo bleek uit mijn onderzoek in 1999 en 2000.

In 2000 werd wethouders van gemeenten met 20.000 of meer inwoners gevraagd naar hun oordeel over de kwaliteit van de in planning- en controlstukken beschikbare prestatiegegevens en het nut ervan voor hun dagelijkse werkzaamheden. Minder dan de helft (45%) van de 262 respondenten was van mening dat de planning- en controlstukken in hun gemeenten (vrij) veel prestatiegegevens bevatten. Van deze 45% was vervolgens slechts 22% van mening dat de planning- en controlstukken ook (vrij) veel informatie bevatten over de kostprijzen van activiteiten en producten, terwijl bijna 60% van hen aangaf dat in de jaarrekeningen matig of niet werd gerapporteerd over de werkelijk gerealiseerde prestaties. De meeste van deze wethouders maakten bij hun werkzaamheden en de prestatiebeoordeling van hun ambtelijke managers slechts beperkt gebruik van de prestatiegegevens in de begroting, managementrapportages en jaarrekening. De wethouders werkten vooral op basis van mondelinge informatie en indrukken over de prestaties en ontwikkelingen die zij opdeden tijdens formeel overleg (zoals vergaderingen) en informele contacten met ambtelijke (top)managers.
Bij een onderzoek in drie grote gemeenten in 1999 stelden de geïnterviewde wethouders ook nadrukkelijk dat de cijfermatige prestatiegegevens slechts een deel van het verhaal vertellen. Aanvullende toelichtingen en kwalitatieve informatie blijven noodzakelijk, ook als de kwaliteit van de prestatiegegevens sterk zou verbeteren. Raadsleden in deze drie gemeenten stelden dat de in begroting, managementrapportages en jaarrekening beschikbare prestatiegegevens, hoewel onvolledig, voor hen soms interessant waren om een indruk te krijgen van de ontwikkelingen en prestaties op bepaalde beleidsterreinen.⁴

Prestatiegegevens in de programmabegroting
Met de introductie van het duale stelsel, stuurt en controleert de gemeenteraad nu op basis van de programmabegroting (en programmajaarrekening). De eerste programmabegrotingen die zijn opgesteld geven soms de indruk dat ze, voor zover het gaat om het vermelden van concrete doelen en meetbare prestaties bij de programma’s, nog de nodige aandacht behoeven. Waarschijnlijk is het formuleren en meten van prestatiegegevens omtrent effecten – en het bepalen van de gemeentelijke bijdrage eraan – nog aanzienlijk moeilijker dan het definiëren en meten van gemeentelijke producten. Het is echter te vroeg om nu al echt te oordelen over de programmabegroting.
De in de programmabegroting vermelde hoofdlijnen worden nader geconcretiseerd in de productramingen, die de basis moeten vormen voor de sturing en beheersing door het college van B&W. De indruk is dat deze productramingen nu nog sterk overkomen met de vroegere productbegrotingen. Derhalve valt te vermoeden dat de soms matige ervaringen met de productbegrotingen en de erin vermelde prestatiegegevens, ook gelden voor de productramingen.

Een gedifferentieerde prestatiemeting
In het voorgaande werd een overzicht gegeven van enkele knelpunten rond de prestatiemeting en het gebruik van kengetallen. Dat betekent niet dat het hoofd maar in de schoot gelegd moet worden.
Onderstaand wordt kort ingegaan op enkele factoren die van invloed zijn op de mogelijkheden voor een zinvol gebruik van cijfers over prestaties. Door goed rekening te houden met die factoren, kunnen prestatiegegevens op reële wijze worden afgestemd op de mogelijkheden die bepaalde producten of effecten bieden. Dat kan de kwaliteit en het gebruik van die gegevens verhogen.
In het algemeen gesproken, is de sturing en beheersing van een gemeentelijke taak relatief eenvoudig als de doelen concreet en helder zijn en de inputs en outputs – en zo mogelijk ook de effecten – goed zijn te meten. Politieke bestuurders en ambtelijk managers kunnen dan op basis van duidelijke informatie goed omlijnde plannen en afspraken maken en deze, waar nodig, tussentijds op basis van concrete gegevens bijsturen, zodat de gewenste producten en effecten worden gerealiseerd.
Het meten van de inputs, de ingezette productiemiddelen, is meestal geen groot probleem. Zoals bekend, laten de doelen zich, zeker bij overheidsorganisaties, lang niet altijd op concrete en eenduidige wijze formuleren. Dat blijkt ook weer uit de eerste ervaringen met de programmabegroting. Sommige doelen omvatten meerdere deelaspecten en zijn vrij vaag, of deels tegenstrijdig, mede omdat ze vanwege het politieke karakter van de overheidsorganisatie veelal een compromiskarakter hebben. Andere doelen worden pas op de lange termijn gerealiseerd, terwijl de bijdrage die de overheid levert aan de realisatie ervan niet goed is vast te stellen. Het is dan ook vaak onmogelijk om de doelen van een organisatie, project of beleidsprogramma vrij compleet uit te drukken op basis van één of enkele cijfers. Dit geldt in het algemeen sterker naarmate de doelen vager en minder eenduidig zijn.
Hetzelfde geldt in feite voor veel producten van de overheid. De outputs leiden, als het goed is, tot het ontstaan van de (beoogde) effecten. De output, die soms nauwelijks te scheiden is van de activiteit, laat zich dikwijls moeilijk meten (en dat geldt al helemaal voor de ermee te bereiken effecten). Vooral het ‘in de volle breedte’ – dus niet slechts één deelaspect ervan – meten van de prestatie kan lastig zijn. Het is in dat geval ook moeilijk om concrete, cijfermatige afspraken te maken over de hoeveelheid producten én andere belangrijke aspecten van de productie, zoals de kwaliteit en kostprijs. Daar komt nog bij dat ook het productieproces – het proces waarmee de inputs worden omgezet in outputs – lang niet altijd inzichtelijk is voor de politieke en ambtelijke leiding.
De meetbaarheid van producten (en effecten) hangt sterk af van de concreetheid (‘tastbaarheid’) en homogeniteit ervan (dat wil zeggen: de mate van overeenkomst ertussen; ‘zijn de producten redelijkerwijs bij elkaar op te tellen of gemakkelijk op elkaar te herleiden?’). Het gaat bij bijvoorbeeld beleidsnota’s veelal niet om homogene producten. Daarom is het moeilijk om de productie van beleidsnota’s met behulp van cijfers op zinvolle wijze te meten en te vergelijken. Kwalitatieve informatie – beschrijvingen in woorden – zal een belangrijke rol spelen bij de sturing en beheersing van dergelijke ‘producten’ en de beoordeling van de gerealiseerde prestatie. Het is waarschijnlijk vrijwel onvermijdelijk dat daarbij in de praktijk ook subjectieve elementen – zoals indrukken en interpretaties – een rol spelen. Een gedifferentieerde aanpak van prestatiemeting houdt in dat er, behalve voor cijfers, tevens ruimte is voor kwalitatieve gegevens en misschien ook voor subjectieve informatie.
Zijn uit de uitkomsten van de gepresenteerde onderzoeken en de bovenstaande beschouwing over de doelen, productieprocessen en outputs, nu algemene richtlijnen af te leiden die kunnen bijdragen aan zinvolle prestatieafspraken en -meting?

Wat bepaalt de mogelijkheden van cijfermatige prestatiemeting?
Een wondermiddel dat alle kwalen oplost bestaat waarschijnlijk niet als het gaat om prestatiegegevens en -meting. Toch kunnen sommige werkwijzen misschien tot meer succes leiden dan andere. Door bewust een gedifferentieerde aanpak te hanteren bij het maken van prestatieafspraken en prestatiemeting, zouden de zinvolle gebruiksmogelijkheden van de afspraken en prestatiegegevens kunnen toenemen en daarmee de acceptatie ervan. ‘Gedifferentieerd’ houdt hier in dat de vermelde prestatiegegevens kwantitatief óf kwalitatief zijn (en soms subjectief). De soort prestatiegegevens, kwantitatief of kwalitatief, wordt dus bewust afgestemd op de aard van de activiteiten, het proces, en het product.
Op basis waarvan zou zo’n differentiatie kunnen plaatsvinden? Bij het maken van prestatieafspraken en prestatiemeting is het in elk geval belangrijk dat de desbetreffende afdeling of persoon de prestaties werkelijk kan beïnvloeden. De beheersbaarheid heeft betrekking op de producten, maar daarnaast – idealiter – ook op de effecten. De gerealiseerde effecten hangen soms sterk af van voor de overheid onbeheersbare, externe invloeden.
Behalve de externe beheersbaarheid, speelt bij de totstandkoming van producten de interne beheersbaarheid een rol. Het gaat dan om het eerder genoemde inzicht in het productieproces. Een weinig inzichtelijk productieproces is moeilijker te sturen en beheersen voor een afdelingshoofd (of politieke bestuurder). Als de interesse uitgaat naar de effecten en de daar te leveren of behaalde prestaties, is vooral de externe beheersbaarheid belangrijk. Gaat het om productieprestaties, dan zal de aandacht meer uitgaan naar de interne beheersbaarheid.
Naast de beheersbaarheid, is de mate van meetbaarheid van producten en effecten een belangrijk element in een gedifferentieerde prestatiemeting. Als de producten en/of effecten goed en in hun volle breedte meetbaar zijn, vergemakkelijkt dat het maken van prestatieafspraken en de prestatiemeting. De prestatiemeting zet dan ook minder aan tot ongewenst gedrag, zoals een te sterke focus van uitvoerenden op het ene deelaspect van de prestatie dat wordt gemeten, met verwaarlozing van andere aspecten die niet worden gemeten maar wel belangrijk zijn. Een sterk op prestatiecijfers gebaseerde beoordeling stuit dan waarschijnlijk op weinig problemen.
Een organisatie kan de keuze voor een meer kwantitatieve of meer kwalitatieve prestatiemeting dus laten afhangen van de meetbaarheid van de producten en effecten en de mate waarin ze beheersbaar zijn voor de betrokken personen of organisatieonderdelen.

In situaties waarin de beheersbaarheid – intern of extern, afhankelijk van het soort prestatie dat wordt gemeten – en de meetbaarheid hoog zijn, kunnen kwantitatieve prestatiegegevens goed worden gebruikt en in principe een vrij compleet beeld geven van de prestaties (wat niet wegneemt dat aanvullende kwalitatieve informatie vrijwel altijd zinvol zal zijn). Als nu de prestaties wel goed meetbaar zijn, maar weinig beheersbaar, kunnen cijfermatige prestatiegegevens een goede indruk geven van de uiteindelijk tot stand gekomen prestatie. Echter, omdat het moeilijk is om te bepalen in hoeverre de leidinggevende, afdeling of gemeente aan de prestatie heeft bijgedragen, is het weinig zinvol in deze situatie een persoon of afdeling strikt ‘af te rekenen’ op basis van de cijfers. Aanvullende kwalitatieve informatie is nodig.
Als de uiteindelijk gewenste prestaties moeilijk meetbaar, maar wel sterk beheersbaar zijn, kan misschien worden nagegaan of er vervangende maatstaven (‘proxies’) zijn – bijvoorbeeld met betrekking tot activiteiten of deelaspecten van producten of effecten – die in elk geval tot op zekere hoogte een indruk geven van de prestatie. Daarnaast kunnen kwalitatieve gegevens uiteraard weer van groot belang zijn. In situaties waarin het met zowel de beheersbaarheid als de meetbaarheid slecht is gesteld, kunnen cijfermatige gegevens in het algemeen hooguit een beperkt, aanvullend beeld geven van deelaspecten van de prestaties. Het is dan waarschijnlijk nodig om in sterke mate te koersen op kwalitatieve informatie, waarbij subjectieve elementen al gauw een rol spelen.

Subjectieve elementen in de prestatiebeoordeling?
Het naar voren brengen van de subjectieve elementen, zoals interpretaties en indrukken, bij (de beoordeling van) prestaties kan omstreden zijn. In het in 2000 onder wethouders verrichte onderzoek, kwam echter duidelijk naar voren dat zij de prestaties van hun ambtelijke managers in vrij sterke mate beoordelen op basis van indrukken en interpretaties en veel minder ‘op de cijfers’. De reacties van de wethouders gaven dus aan dat de subjectieve elementen bepaald niet onbelangrijk waren bij hun oordeelsvorming. Ouchi gaf al aan dat gebruiken, regels, procedurevoorschriften, de organisatiecultuur en andere ‘rituelen’ een sterke rol kunnen spelen bij de sturing en beheersing van weinig inzichtelijke processen en slecht meetbare producten. Als bovendien sprake is van producten/processen waarmee de organisatie weinig ervaring heeft, ziet bijvoorbeeld ook Hofstede weinig mogelijkheden voor een ‘puur rationele en planmatige’ sturing en beheersing.⁵
De vraag of subjectieve elementen in de prestatiebeoordeling echt te vermijden zijn, zeker als het gaat om lastig te definiëren, moeilijk beheersbare en slecht meetbare prestaties, moet waarschijnlijk ontkennend worden beantwoord. Zonder dat hier al gaat om een compleet uitgebalanceerde gedachte, mag dus misschien worden gesteld dat het maar beter is de mogelijke rol van subjectieve oordelen en indrukken te erkennen, zeker als het gaat om moeilijk meetbare prestaties. Om onduidelijkheden tegen te gaan, is het dan waarschijnlijk gewenst dat bij de verstrekte informatie steeds zo duidelijk mogelijk een scheidslijn wordt aangebracht tussen ‘gewone’ kwalitatieve informatie en eventuele subjectieve elementen.

Slot
Een differentiatie in het gebruik van prestatiegegevens, zoals hier omschreven, is maatwerk en vergt dan ook veel energie en aandacht van de organisatie. Bovendien zal zo’n differentiatie er niet meteen toe leiden dat prestatiegegevens ook alom op grote schaal worden gebruikt. Daarvoor is ook een ‘op cijfers gerichte’ cultuur nodig. Die cultuur bestaat in overheidsorganisaties misschien wel vrij sterk als het om de financiële budgetten gaat, maar minder als het gaat om de prestaties. De complexiteit en moeilijke meetbaarheid van veel prestaties spelen daarbij een rol, evenals het politieke en open karakter van veel overheidsorganisaties. Het open karakter betekent dat veel informatie openbaar is, waardoor bijvoorbeeld de bereidheid kan afnemen om nauwkeurig prestaties te formuleren waarvan men weet dat die omgeven zijn met veel onzekerheden. Het politieke karakter betekent dat actuele ontwikkelingen in de samenleving intern vaak een rol spelen, omdat de politieke bestuurder zich niet kan permitteren dergelijke signalen te negeren.
Dergelijke factoren zullen ook bij een gedifferentieerd gebruik van prestatiegegevens een rol blijven spelen. Dat neemt niet weg dat, waar redelijkerwijs mogelijk, de bereidheid om op een goede en zinvolle wijze (cijfermatige) prestaties te formuleren kan worden gestimuleerd. Enige centrale coördinatie van de te verzamelen prestatie-informatie is hierbij nodig, maar het is twijfelachtig of alle ‘formats’ voor gegevensverzameling centraal dienen te worden vastgesteld.
Hogergeplaatste managers en politieke bestuurders zullen, net als topmanagers in het bedrijfsleven, in de praktijk waarschijnlijk veel gebruik blijven maken van informele, mondelinge informatie.⁶ Een verdere verbetering van de kwaliteit van de gemeentelijke prestatiegegevens is echter van belang om een zinvol (aanvullend) gebruik ervan mogelijk te maken. Alleen al het feit dat het formuleren van prestaties de transparantie bevordert en ‘disciplinerend’ werkt, omdat men gedwongen wordt geambieerde en gerealiseerde prestaties op papier te zetten, kan daarbij belangrijk zijn.
Goede cijfermatige prestatiegegevens kunnen zeer waardevol zijn voor het meten en beoordelen van prestaties. In de praktijk zal echter beseft moeten worden dat de cijfers, ook als ze van hoge kwaliteit zijn, veelal vooral een eerste indruk geven van de prestaties en niet zozeer een compleet beeld. Dit besef is ook van belang bij het volgen van een genuanceerde en gedifferentieerde aanpak van prestatiemeting en -beoordeling.

Prof. dr. H.J. ter Bogt is door het Groninger Universiteitsfonds, gesponsord door de gemeente en de provincie Groningen, aangesteld als bijzonder hoogleraar overheidsmanagement aan de Faculteit der Economische Wetenschappen van de Rijksuniversiteit Groningen. Daarnaast is hij aan deze faculteit verbonden als universitair hoofddocent management accounting.

Noten
¹ Zie ook: J.L.M. Hakvoort en H.L. Klaassen, 2003, Cyclische selectie van bedrijfsvoeringtechnieken, Public Controlling, jrg.1 – nr. 1, p. 25-26.
² Zie Moret Ernst & Young, Management Consultants, en Stichting A+O fonds Gemeenten, Tien jaar kwaliteitsverbetering bij gemeenten, uitgave Arbeidsmarkt- en Opleidingsfonds Gemeenten, Den Haag. Hierbij kan erop worden gewezen dat Bordewijk en Klaassen bij onderzoek in negen grote gemeenten in 1999 vaststelden dat de begrotingen van deze gemeenten weliswaar diverse prestatiegegevens bevatten, maar geen van de gemeenten had in hun ogen een ‘volledige’ productbegroting, dat wil zeggen een begroting waarin voor elk product het aantal eenheden product en de kostprijs werden vermeld. P. Bordewijk en H.L. Klaassen, 2000, Wij laten ons niet kennen, VNG Uitgeverij, Den Haag. Zie verder: H. Aardema, 2002, Doorwerking van BBI, proefschrift Rijksuniversiteit Groningen, BMC, Leusden, p. 146-147, 316. Zie voor enkele eerste indrukken omtrent de programmabegroting bijvoorbeeld: H.J. ter Bogt en G.J. van Helden, 2004, Het duale stelsel en de programmabegroting in gemeenten, Accounting, jrg. 108-nr. 3, p. 5-12.
³ Zie G.J. van Helden, 1998, BBI in de praktijk, Shaker Publishing, Maastricht; G.J. van Helden en H.J. ter Bogt, 2001, The Application of Businesslike Planning and Control in Local Government, Local Government Studies, Vol. 27-No. 1, p. 68-69, 79-80; P.T.M.Welschen, 1997, Onderzoek planning en control bij middelgrote en kleinere gemeenten, KPMG Management Consulting, p. 46-49. Zie voor de begrotingen uit 1999: G.J. van Helden en Å. Johnsen, 2002, A comparative analysis of the development of performance- based management systems in Dutch and Norwegian local government, International Public Management Journal, Vol. 5, p. 88.
⁴ De uitkomsten van het onderzoek uit 1999 staan op p. 631-633 van: H.J. ter Bogt, Politicians and output-oriented performance evaluation, The European Accounting Review, Vol. 10-No.3. De uitkomsten van het onderzoek uit 2000 staan uitgebreid weergegeven in drie artikelen van H.J. ter Bogt: De doelmatigheid van outputgerichte managementinformatie voor wethouders, Beleidswetenschap, 2002, jrg.16-nr. 2, p. 114-143; Prestatiebeoordeling in overheidsorganisaties, Maandblad voor Accountancy en Bedrijfseconomie, 2002, jrg. 76-nr. 10, p. 455-467, Politicians in search of performance information?, Financial Accountability & Management, 2004, Vol. 20-No.3.
⁵ W.G. Ouchi, 1979, A conceptual framework for the design of organizational control mechanisms, Management Science, Vol. 25-No. 9, p. 840-844. G. Hofstede, 1981, Management control of public and not-for-profit activities, Accounting, Organizations and Society, Vol. 6-No.3. Zie in dit verband ook Platform Doelmatigheid/Nivra, 1997, Naar een doelmatiger overheid Nivra, Amsterdam, p. 17-31.
⁶ H. Mintzberg, 1972, The myths of MIS, California Management Review, Vol. 15-No. 1, p. 93-96.