De valkuil van het BBV

Kengetallen zijn onontbeerlijk voor sturing, beheersing en verantwoording in de publieke sector1 Of het nu gaat om vraagstukken op rijksniveau of op decentrale niveaus, steeds weer keert het vraagstuk van het ontwerpen en hanteren van adequate kengetallen terug. Bij gemeenten kan men waarnemen dat sinds de introductie van het BBI het gebruik van kengetallen toeneemt en sinds de dualisering lijkt hier zelfs een versnelling in waarneembaar. De meest gehanteerde kengetallen hebben naast een input- ook een outputcomponent, een constructie die is gebaseerd op de veronderstelling dat met deze kengetallen gemeentelijk beleid inzichtelijk, stuurbaar en beheersbaar kan worden gemaakt (Van Helden 1998, Osborne e.a. 1995). In dat licht is het begrijpelijk dat men de laatste jaren binnen gemeenten met name de outputcomponent tot ontwikkeling heeft gebracht en dat men pogingen heeft ondernomen om eenduidig en 'SMART' aan te geven wat de gemeente nu eigenlijk wilde bereiken en wat men daarvoor van plan was te doen.

Het formuleren van de output en de outputindicatoren van voortbrengings-processen in het publieke domein is een complexe aangelegenheid - complexer dan men dikwijls in politieke arena's veronderstelt. De gemeentelijke politiek is daarop geen uitzondering. Zo is niet altijd eenduidig aan te geven wat gemeenten nu eigenlijk voor producten voortbrengen en kunnen kosten niet altijd ondubbelzinnig aan een product worden toegerekend (Henzel 1998). Men kan prestaties binnen een gemeente vaak niet goed door middel van kengetallen duiden, zeker niet als men hierbij kwalitatieve aspecten betrekt (Bordewijk en Klaassen 2000, Lovell 1998). Voorts zullen processen nooit in één kengetal gevat kunnen worden, hetgeen een probleem van, selectie en aggregatie oplevert. De vraag rijst in hoeverre een kengetal niet een al te eenvoudige samenvatting betreft van een complexe werkelijkheid. 

Ook aan de kostentoerekeningskant, doemen problemen op. Zo levert een gemeente een dermate divers en variërend aanbod aan diensten en producten, dat een grote wissel wordt getrokken op het toerekenen van input aan output. Men zal zich bovendien moeten realiseren dat kengetallen als gevolg van leerprocessen niet het eeuwige leven hebben en als afgeleiden van beleidsprocessen kunnen worden beschouwd. Zoals beleid aan erosie onderhevig is, zo geldt dit evenzeer (en wellicht zelfs in versterkte mate) voor het onderliggende kengetallensysteem (Van der Knaap 1997, p. 57-69, De Bruijn 2001, p. 31 e.v.).

Gevaren
Verschillende auteurs wijzen op het gevaar om los van de context een kengetallensysteem te ontwikkelen. Volgens hen zal de ontwikkeling van een kengetallensysteem riskanter zijn naar mate de beleidsoriëntaties binnen een organisatie uiteenlopen (Haselbekke, e.a. 1990). Als een kengetallensysteem gezien wordt als prestatiemeetsysteem, bestaat bovendien liet gevaar van disfunctioneel gedrag in reactie op de manier waarop managers deze systemen hanteren (Briers en Hirst 1990). 

Ontwikkelingsrichtingen
De benodigde overeenstemming over de functie en het gebruik van kengetallen, waar door verschillende auteurs op gewezen wordt, lijkt een cruciale factor in een gemeente. De gemeente is immers bij uitstek een organisatie waarin verschillende conflicterende doelstellingen naast elkaar (kunnen) bestaan. Hier ligt feitelijk het grootste obstakel voor het gebruik van kengetallen. Kengetallen maken namelijk een doelstelling concreet die door een coalitie, een college of een managementteam soms bewust abstract is gehouden om de verhoudingen niet op scherp te zetten. Het probleem bij het gebruik van kengetallen is dan niet van operationele of technisch aard: wel beschouwd kan ieder gemeentelijk proces voorzien worden van concrete kengetallen. Het probleem ligt eerder bij het bereiken van overeenstemming over de concrete gewenste doelstelling dan bij de vraag of de kengetallen een proces, activiteit of resultaat in technische zin bevredigend weergeven.

Het Besluit Begroting en Verantwoording
Sinds 2004 is het Besluit comptabiliteitsvoorschriften 1995 vervangen door het Besluit Begroting en Verantwoording (BBV). Het BBV richt zich op de begrotings- en verantwoordingsdocumenten en geeft onder meer voorschriften waaraan de opbouw en de kaders van deze documenten moeten voldoen. In de nota van toelichting van het BBV worden de drie - inmiddels beroemde - W-vragen geformuleerd die bij de begroting beantwoord moeten worden (par. 2.2, nota van toelichting BBV): 

Wat willen we bereiken?
Wat gaan we daarvoor doen?
Wat mag dat kosten? 

In de jaarverantwoording dient aan de hand van deze vragen de mate van realisatie te worden verantwoord. Het gebruik van kengetallen sluit hier vrijwel direct op aan. Bij de eerste vraag worden effectindicatoren ontwikkeld, de tweede vraag wordt voorzien van outputindicatoren en de derde vraag verwijst naar de budgetten. In het kader van het dualisme wordt in dit besluit tevens de kaderstellende en controlerende rol van de gemeenteraad uitgewerkt ten opzichte van het meer uitvoerende college. De raad wordt geacht op hoofdlijnen te sturen en zich dus eerder op het bereiken van effecten te richten, terwijl het college zich als uitvoerend orgaan meer gedetailleerd bezighoudt met de vraag wat er zoal gedaan moet worden en in hoeverre de processen doelmatig verlopen. Er ontstaat dan een soort piramide waarbij de drieslag raad, college en ambtelijk apparaat een steeds concretere vorm aanneemt. Baerends (2005) heeft dit concreet proberen te maken via een piramide met daarin verschillende hiërarchische niveaus (zie figuur 1). 

Figuur 1. Hiërarchish niveau van indicatoren (Bron: Baerends 2005, p.13).

De bovenstaande redering heeft weinig realiteitsgehalte, omdat zij volledig voorbijgaat aan de gesignaleerde knelpunten die het gebruik van kengetallen binnen de gemeentelijke organisatie oplevert. Zo laat de gehele gemeentelijke begroting zich niet volledig vertalen in producttermen. Daarnaast kan de gemeente wel intern (willen) werken met managementcontracten, maar de productiehoeveelheid die wordt afgenomen, is niet volledig beheersbaar door de uitvoerende diensten. 

Ook klopt de voorgestane koppeling tussen hiërarchische niveaus, hoofdvormen van kengetallen en de programmabegroting en productenraming in conceptueel opzicht niet. De redenering gaat namelijk uit van de gedachte dat het effect strategisch benoemd dient te worden, de output tactisch en de processen met bij behorende input concreet op operationeel niveau. Volgt men deze denkwijze, dan moet men van de veronderstelling uitgaan dat er sprake is van ondubbelzinnige vormen van causaliteit. Dat lijkt weinig reëel, omdat de sociale werkelijkheid zich niet voegt in dit mechanische wereldbeeld. Zo veronachtzaamt men dat output dikwijls geen één-op-één-relatie heeft met de effecten ervan. Zogenoemde negatieve neveneffecten zijn hiervan een voorbeeld. Daarnaast is er de omstandigheid dat één output bijdraagt aan meerdere doelen. Het ontbreken van eenduidige causaliteit zal in de praktijk leiden tot gedragsreacties. Indien men een gemeentelijk proces opvat als een transformatieproces waarin input wordt omgezet in output met het oogmerk bepaalde effecten te genereren, levert de redenering van het BBV het volgende beeld op:
Het abstract houden van effectkengetallen sluit aan bij de politieke realiteit, waarin men beoogde effecten zo abstract mogelijk wenst te formuleren (zie figuur 2). Het nadeel hiervan is echter dat geen antwoord wordt gegeven op de vraag wanneer nu een bepaald programma succesvol is uitgevoerd. Aan de andere kant verliest men de samenhang tussen activiteiten en prestaties uit het oog indien men deze activiteiten en prestaties uitsluitend concreet benoemd. Dit beeld wordt nog versterkt door het feit dat de raad juist op proces- en op outputniveau de details zoekt, een en ander ingegeven door de wijsheid dat men daar ook door de bevolking op wordt aangesproken.

Figuur 2. Niveaus van kengetallen

Veiligheidsbeleid bijvoorbeeld
Een voorbeeld kan hier behulpzaam zijn. Baerends werkt de BBV-redenering uit voor gemeentelijk drugsbeleid (Baerends 2005). Daarbij worden conform de BBV-logica prestaties concreet benoemd (aantal gearresteerde dealers, aantal gecontroleerde coffeeshops, aantal gecontroleerde drugspanden). Vervolgens leiden deze prestaties tot een afname van het aantal meldingen van drugsoverlast en tot een afname van de drugsoverlast in de openbare ruimte. Dit betreft dus al abstracter geformuleerde output. Het uiteindelijk effect is zeer abstract geformuleerd: een toename van het veiligheidsgevoel bij burgers en een veilige en leefbare stad. De voorgaande figuur kan hiermee als volgt worden ingevuld. 

Figuur 3. Kengetallen binnen gemeentelijk veiligheidsbeleid (vgl. Baerends, 2005).

De consequenties van deze uitwerking kunnen buitengewoon lastig zijn. Zo rijst de vraag in hoeverre de controle van shops en panden eigenlijk leidt, tot een afname van drugsoverlast. Men kan immers ook de stelling betrekken dat de drugsoverlast in de openbare ruimte juist toeneemt door een dergelijke interventie, aangezien verslaafden gedwongen worden hun heil in de openbare ruimte te zoeken. Deze vraag kan niet beantwoord worden via het bovenstaande schema, omdat twee concepten van een verschillend abstractieniveau (controle van shops en afname van drugsoverlast) causaal met elkaar in verband worden gebracht. Een andere vraag die in dit verband gesteld kan worden, is in hoeverre de gemeentelijke activiteiten op het gebied van veiligheid nu met dit schema op elkaar worden afgestemd. Zo zijn controle en arrestaties te beschouwen als repressieve activiteiten, terwijl de gemeente daarnaast tal van preventieve activiteiten ontplooit. Een verkeerde combinatie van repressie en preventie kan averechts werken; het heeft bijvoorbeeld geen zin om in het kader van buurtpreventie te overleggen met coffeeshophouders, om deze zelfde coffeeshophouders een dag daarna te arresteren op verdenking van heling. Door een eenzijdige concentratie op repressie laat men een mogelijk effectievere benadering via preventie buiten beschouwing. Ook wordt de raad met het schema niet in de gelegenheid gesteld concrete prioriteiten aan te geven (tussen bijvoorbeeld repressie,en preventie) om de simpele reden dat geen keuze wordt voorgelegd. Tot slot wordt met het bovenstaande schema geen antwoord gegeven op de vraag wanneer het veiligheidsprogramma nu succesvol wordt uitgevoerd. Met andere woorden: wanneer kan van een veilige stad worden gesproken? Dient hiertoe de subjectieve veiligheid als indicator of kijkt men liever naar statistisch materiaal op het gebied van veiligheid? 

Een meerdimensionaal alternatief
Feitelijk wordt met de 'doel-middel-boom' uit de BBV een eendimensionale vertaling gegeven van datgene wat op zijn minst tweedimensionaal is. Door het middel concreter te formuleren verliest men de samenhang tussen de diverse middelen uit het oog, kan men niet meer aantonen of het middel eigenlijk wel tot het doel leidt en kan men ook niet meer aangeven in hoeverre het beoogde effect nu gerealiseerd is. Om deze problemen op te kunnen lossen, kan het begrip 'beleidstheorie' in herinnering worden geroepen. Hiermee worden verschillende variabelen van hetzelfde abstractieniveau met elkaar in verband gebracht. Zo kunnen middelen worden ingezet ter preventie, maar ook ter repressie. Uiteindelijk kunnen preventie en repressie allebei tot verhoging van de objectieve veiligheid leiden en deze laatste kan (via de juiste communicatie) tot verhoging van de subjectieve veiligheid leiden. Nu is het zaak dat iedere factor geoperationaliseerd wordt in meetbare eenheden. Zo kan repressie inderdaad worden vertaald in het aantal arrestaties, maar men zal preventie ook moeten operationaliseren. Evenzo dienen de concepten objectieve en subjectieve veiligheid geoperationaliseerd te worden. Het volgende schema doemt op. 

Figuur 4. Theorie en operationalisatie van veiligheidsbeleid (klik op figuur voor vergroting).

Het hanteren van een beleidstheorie met een bijbehorende operationalisatie lost een aantal problemen op. Zo worden nu deductief variabelen geoperationaliseerd en met elkaar in verband gebracht opdat het na verloop van tijd mogelijk is aan te tonen of bepaalde activiteiten eigenlijk wel tot een bepaalde output en een bepaald effect leiden. Doordat activiteiten in het kader van veiligheid zowel op een hoog abstractieniveau als op een concreet niveau zijn geformuleerd, blijft men tevens de samenhang zien tussen de verschillende activiteiten en maatregelen. Zo komt in bovenstaand schema de spanning tot uiting die tussen repressie en preventie kan bestaan. Middelen zullen verdeeld moeten worden tussen deze twee typen maatregelen. De bovenstaande beleidstheorie nodigt echter uit om na verloop van tijd te bezien of intensivering van één van de twee typen maatregelen niet effectiever is. Uiteindelijk kan via deze gedachtelijn antwoord worden gegeven op de vraag wanneer een programma nu effectief is uitgevoerd: het effect is immers nu ook concreet geoperationaliseerd. 

Antwoorden
In het bovenstaande voorbeeld hebben de kengetallen betrekking op directe kosten, het aantal arrestaties, het aantal overlegmomenten, het aantal vermogensdelicten, enzovoort. In die zin wijkt deze oplossing vrij fundamenteel af van de kengetallen die uit de BBV-redenering zijn af te leiden. Waar de BBV een abstracte formulering van effect (met een bijbehorend abstract kengetal) en een steeds concreter wordende formulering van output, activiteit en input voorstaat (met steeds concretere kengetallen), beoogt het hanteren van een beleidstheorie een ander gebruik. Input, proces, output en effect worden eerst op hetzelfde abstractieniveau met elkaar in verband gebracht. Vervolgens worden al deze variabelen van een concrete operationalisatie voorzien, waarop kengetallen kunnen aangrijpen. Pas op deze manier verkrijgt men antwoorden op de vraag in hoeverre de veronderstelde causale verbanden zich voordoen, in hoeverre er samenhang bestaat tussen de verschillende activiteiten en in hoeverre een programma succesvol is verlopen. Toegegeven: de antwoorden op deze vragen verdragen zich wellicht niet altijd met de politiek wenselijke realiteit.

Drs. R.J. Anderson is senior onderzoeker bij Jacques Necker BV.
Dr. H.L. Klaassen is universitair hoofddocent bestuurskunde aan de Erasmus Universiteit Rotterdam. 

Noot 
1 In dit artikel wordt een kengetal opgevat als een absoluut getal of een verhoudingsgetal dat is uitgedrukt in fysieke eenheden of in geldeenheden en dat de toestand van of de ontwikkeling op een beleidsterrein in beeld brengt (Haselbekke e.a. 1990, p. 18). 

Literatuur 

• Baerends, J., Doelgericht sturen met de gemeentelijke programmabegroting, in: B&G, januari 2005. 
• Bogt, H.J. ter, Politicians and output-oriented performance evaluation in municipalities, in: The European Accounting Review, 10:3, 2001. 
• Bogt, H.J. ter, Gebruik van outputinformatie door gemeentebestuurders, in: Overheidsmanagement, 2000, no. 7. 
• Bordewijk, P en H.L. Klaassen, Wij laten ons niet kennen, Een onderzoek naar het gebruik van kengetallen bij negen grotere gemeenten, VNG uitgeverij, Den Haag, 2000. 
• Briers, M., Hirst, M., The role of budgetary information in performance evaluation, Accounting, in: Organisations and Society, Vol. 15, No. 4,1990. 
• Bruijn, H. de, Prestatiemeting in de publieke sector. Tussen professie en verantwoording, Lemma, Utrecht, 2001. 
• Haselbekke, A.G J., H.L. Klaassen, A.P. Ros en R.J. in 't Veld, Prestaties Tellen. Kengetallen als instrument voor een bedrijfsmatig(er) bestuur en beheer van decentrale overheden, VNG uitgeverij, Den Haag, 1990. 
• Helden, G.J. van, BBI in de praktijk, Shaker Publishing, Maastricht, 1998. 
• Henzel, F., Bedrijfsvergelijking, in: Overheidsmanagement, 1998, no. 6. 
• Hopwood, A.G., An Empirical Study of the Role of Accounting Data in Performance Evaluation, in: Journal of Accounting Research,1972. 
• Hopwood, A.G., An Accounting System and Managerial Behaviour, Saxon House, London, 1973. 
• Knaap, P. van der, Lerende overheid, intelligent beleid. De lessen van beleidsevaluatie en beleidsadvisering voor de structuurfondsen van de Europese Unie. Proefschrift, Phaedrus, Den Haag, 1997.
• Lovell, C.A.K., Doelmatigheidsonderzoek in de publieke sector, in: Openbare Uitgaven, no. 1, 1998. 
• Mol, N.P, Operationele budgettering, Efficiency en effectiviteit In activiteitenbudgetten, Samson H.D, Tjeenk Willink, Alphen aan den Rijn, 1997.
• Osborne, S.P. e.a., Performance Management and Accountability in Complex Public Programmes, in: Financial Accountability & Management, February, 1995.