Beter benchmarken

Al langer is benchmarking in het bedrijfsleven een populair managementinstrument. Bain & Company (2011) houdt al jaren de populariteit bij van instrumenten zoals balanced scorecards, business process redesign, kwaliteitsmanagement, etc. Daaronder staat benchmarking al jaren in de top vijf en in 2008 en 2010 zelfs op nummer één. In de publieke sector is, beginnend bij gemeenten en later ook bij het Rijk en andere non-profitorganisaties het gebruik van benchmarking sterk toegenomen (De Groot et al., 2004). Illustratief is het gegeven dat de rijksbrede benchmarkgroep in 2002 startte met 10 participanten, maar vandaag de dag 33 deelnemers telt (www.rbb-groep.nl). Het aantal benchmarks in de gemeentelijke benchmarkgids 2010 van KING (Kwaliteitsinstuut Nederlandse gemeenten, www.kinggemeenten.nl) is maar liefst 42.
Ook in non-profitsectoren als onderwijs en zorg is benchmarking een veel gebruikt instrument. De geschetste opmars is mede het gevolg van het sinds twee decennia steeds meer op bedrijfsmatige leest geschoeide management van de publieke sector, beter bekend als New Public Management. Over de voor- en nadelen daarvan is in de bestuurskundige en bedrijfskundige literatuur veel geschreven (Pollitt en Bouckaert, 2004). De publieke sector zou volgens sommigen te zeer verschillen van de marktsector om die aanpak te rechtvaardigen, vooral vanwege het borgen van het publiek belang, zoals de legitimiteit en rechtvaardigheid van het overheidsoptreden. Anderen benadrukken de mogelijkheden van een meer efficiënte en effectieve publieke sector en meer op de wensen van burgers afgestemde dienstverlening. Het is hier niet de plaats om deze discussie te voeren. De auteurs nemen op dit punt een pragmatisch standpunt in: kan de meerwaarde van het managementinstrument benchmarking, ongeacht zijn herkomst, in de praktijk worden bewezen? Daaraan vooraf gaat een heldere definitie van begrippen en concepten. In dit artikel beogen wij daarvoor handvatten te bieden.
Juist in de publieke sector kan daarbij de economische of kostendimensie niet buiten beschouwing blijven. Terecht staan in veel benchmarks de resultaten van instellingen of beleid centraal. Dat zijn de geleverde diensten, zo mogelijk inclusief kwaliteitsaspecten en maatschappelijke effecten van de dienstverlening. Maar al te vaak wordt daarbij vergeten dat ook in de publieke sector de beschikbare middelen een essentiële rol spelen, ook al lijkt dat een open deur in deze tijd van economische en financiële crisis. Aan meer dienstverlening, meer kwaliteit, meer zorgvuldigheid van processen, hangt doorgaans een prijskaartje waarmee politici en ambtenaren rekening moeten houden. Een ander belangrijk aspect zijn de handvatten die benchmarking biedt voor daadwerkelijke verbetering. Alleen de presentatie van een hitlijst van instellingen, geordend naar prestaties of proceskwaliteit, is volstrekt onvoldoende. Er is inzicht nodig in de factoren die de verschillen in resultaten tussen instellingen bepalen. Alleen dan zijn gerichte verbeteracties mogelijk. Of die ook plaats vinden is overigens empirisch nog nauwelijks onderzocht (voor een uitzondering, zie Van Helden en Brouwer, 2005). Hoewel in de praktijk wel degelijk pogingen worden gedaan tot benchlearning, bijvoorbeeld door gesprekken tussen deelnemers te organiseren, zou ook in de opzet van benchmarks en de daarvoor te verzamelen gegevens al rekening moeten worden gehouden met potentieel verklarende factoren. Dat maakt een verklarende analyse van de resultaten mogelijk. Langs deze lijnen wordt in dit artikel een kader voor betere benchmarking ontwikkeld. Eerst worden essentiële concepten als productiviteit en doelmatigheid en de meting daarvan behandeld. Daarna volgt een empirische illustratie aan de hand van het gemeentelijk afvalbeheer. Ten slotte worden een aantal conclusies getrokken en enkele aanbevelingen gegeven.

Productiviteit en doelmatigheid
Om een zinvolle benchmarking te kunnen uitvoeren, is het noodzakelijk een conceptueel kader te hanteren waarmee de veelheid aan gegevens uit een benchmark kunnen worden gecondenseerd tot een beperkt aantal relevante en interpreteerbare indicatoren. Deze compacte set van indicatoren moet het management of het beleid de mogelijkheid bieden om snel een goed inzicht te krijgen in de prestatie van de organisatie (of het systeem) en inzicht in de instrumenten die tot prestatieverbeteringen leiden. De theorie over productiviteits- en doelmatigheidsmeting biedt een dergelijk conceptueel kader. In het navolgende worden de contouren hiervan toegelicht.

Een veelgebruikte en eenvoudige methode om de (arbeids)productiviteit uit te rekenen is het toepassen van een ratio, zoals de ratio van het aantal geleverde diensten en het aantal werknemers. Een dergelijke benadering geeft de globale ontwikkeling in de tijd of globale verschillen tussen instellingen weer. Met deze ratio’s is het moeilijk recht te doen aan de diversiteit van publieke dienstverlening. Denk hierbij bijvoorbeeld aan de verschillende producten van gemeenten. Ook levert dit soort kengetallen geen helderheid op over de vraag in welke mate de prestaties kunnen worden verbeterd. Voor de beperkingen van het gebruik van dit soort ratio’s wordt verwezen naar bijvoorbeeld Lovell (2000) en Blank (2010). Nu steeds meer gegevens op instellingsniveau beschikbaar zijn, kunnen meer geavanceerde technieken worden toegepast. Een van deze technieken is het toepassen van een kostenmodel. Dat wordt hier verder toegelicht.

Een kostenfunctie geeft de samenhang weer tussen enerzijds de kosten en anderzijds de omvang en samenstelling van de productie of dienstverlening, de prijzen van de ingezette middelen (zoals salarissen van personeel) en de stand van de techniek. uit de economische theorie volgt dat uit de kostenfunctie zogenoemde kostenaandelenfuncties zijn af te leiden, zie Färe en Primont (1995). Deze kostenaandelenfuncties geven voor elk ingezet middel (bijvoorbeeld uitvoerend en ondersteunend personeel) de optimale relatie weer tussen de inzet van dat middel enerzijds en de omvang en samenstelling van de dienstverlening, de prijzen van de ingezette middelen en de technische ontwikkeling anderzijds. met andere woorden, de kostenfunctie beschrijft de kosten en de kostenaandelenfuncties beschrijven de samenstelling van de ingezette middelen, zoals verschillende typen personeel, materiaal en kapitaal. De kosten- en kostenaandelenfuncties beschrijven zijn te gieten in wiskundige vergelijkingen, waarvan de parameters met statistische technieken zijn te schatten.

Op basis van een dergelijke kostenfunctie kunnen eenvoudig de volgende economische grootheden worden afgeleid:

• kostendoelmatigheid,
• schaaleffecten,
• autonome kostenontwikkelingen.

Kostendoelmatigheid
In deze paragraaf bespreken we de kostendoelmatigheid van een organisatie. Figuur 1 geeft een grafische voorstelling van kostendoelmatigheid. Op de horizontale as is de productie weergegeven en op de verticale as de kosten. Ieder punt in de fi guur representeert de kosten en productie van de organisatie. In de figuur is ook een vereenvoudigde kostenfunctie getekend.

Figuur 1. Voorbeeld van een kostenfunctie en kostendoelmatigheid

Er zijn technieken om de kostenfunctie zo te bepalen dat deze aan de onderkant van de puntenwolk van instellingen ligt. Deze technieken zijn bekend onder namen als Data Envelopment Analysis (DEA) en Stochastic Frontier Analysis (SFA). Fried et al. (2008) geven een overzicht van de verschillende methoden om doelmatigheid te bepalen. Voor een elementaire inleiding in productiviteitsonderzoek verwijzen we naar Blank (2010). aan de onderkant van de puntenwolk liggen de instellingen met de laagste kosten gegeven de productie. Dat zijn per definitie de meest productieve instellingen. De functie die de onderkant van de puntenwolk beschrijft, kent verschillende benamingen zoals beste praktijk, frontier of grenskostenfunctie. Instellingen die op de frontier liggen zijn kostendoelmatig. Instellingen die niet op de frontier liggen zijn kostenondoelmatig en zouden theoretisch een verbetering van maximaal de afstand tot de kostenfunctie kunnen realiseren. De (relatieve) afstand tot de kostenfunctie is een maat voor de kostendoelmatigheid van de instelling. Daarnaast kunnen uit de eerder genoemde kostenaandelenfuncties zogenoemde allocatieve ondoelmatigheden worden afgeleid. Deze allocatieve ondoelmatigheden verwijzen naar een niet-optimale mix van de ingezette middelen. Dezelfde productie is soms te realiseren tegen lagere kosten door bijvoorbeeld een grotere inzet van computertechnologie en minder personeel. De kostendoelmatigheid is ook te koppelen aan allerlei kenmerken van de bedrijfsvoering, waardoor het duidelijk wordt of uitbesteding, centrale inkoop, shared services of andere aspecten van bedrijfsvoering de kostendoelmatigheid beïnvloeden. Dit soort analyses geeft het management direct handvatten voor verbeteringen. Deze aanpak kan ook worden gebruikt bij de analyse van kosteneffectiviteit, waarbij het gaat om de verhouding tussen kosten en maatschappelijke effecten van beleid. uiteraard is de dataverzameling uitgebreider en de analyse complexer, omdat doorgaans een keten van organisaties en burgers bijdraagt aan zowel kosten als effecten (zie: de Groot, 2011).

Schaaleffecten
Uit de kostenfunctie is ook een maat af te leiden voor de schaaleffecten. De kostenfunctie geeft immers aan wat de gevolgen zijn in termen van kosten bij een groei van de productie met bijvoorbeeld één procent. Indien de kosten met minder dan één procent groeien, is er sprake van schaalvoordelen. als de kosten met precies één procent stijgen dan is er sprake van constante schaalopbrengsten. In het geval dat de kostenstijging groter is dan één procent, is er sprake van schaalnadelen. Overigens kunnen de schaaleffecten variëren met de grootte van de organisatie. Bij kleine instellingen is wellicht sprake van schaalvoordelen, terwijl grote instellingen met schaalnadelen worden geconfronteerd. Een dergelijk verloop staat bekend als een u-vorm: de gemiddelde kosten dalen tot een bepaald optimum naarmate de organisatie groter wordt, daarna groeien de kosten weer.
Economen duiden een dergelijk verloop als volgt: Kleine instellingen kunnen bij schaalvergroting voordelen realiseren door hun kapitaal beter te benutten of het personeel verder te specialiseren in bepaalde taken. Een instelling kan echter ook te groot worden doordat de span of control te groot wordt. Dit leidt dikwijls tot extra managementlagen, maar ook tot meer protocollen en procedures voor het personeel. Ook kan de arbeidsmotivatie teruglopen door een mogelijk geringere betrokkenheid van de werknemers bij een grote organisatie.

Figuur 2 geeft een voorbeeld van een kostenfunctie weer waarbij er in eerste instantie sprake is van schaalvoordelen die vervolgens omslaan in schaalnadelen. De figuur toont eveneens het U-vormig verloop van de gemiddelde kosten.

Figuur 2. Voorbeeld van een kostenfunctie en de gemiddelde kosten

Het is niet zo dat de gemiddelde kosten per definitie een U-vormig verloop hebben. De gemiddelde kosten kunnen, afhankelijk van de kostenfunctie, ook nog een ander verloop hebben, bijvoorbeeld L-vormig (alleen maar schaalvoordelen) of omgekeerd L-vormig (alleen maar schaalnadelen). Empirische toetsing moet hierover uitsluitsel geven.

Autonome kostenontwikkeling
Een belangrijk element in het kostenmodel betreft de invloed van technische of autonome ontwikkelingen. Door technische ontwikkelingen, maar ook door andere ontwikkelingen zoals wijzigingen in de weten regelgeving kunnen veranderingen optreden in de kosten. Een voorbeeld van technische ontwikkeling bij afvalinzameling is de plaatsing van ondergrondse afvalcontainers, waardoor het aantal verzamelpunten sterk vermindert en een in de tijd flexibeler inzameling mogelijk is. Figuur 1 geeft ook grafisch weer hoe autonome kostenontwikkelingen eruit kunnen zien. De kostenfunctie schuift van T1 naar T2, in deze figuur betreft de verschuiving een kostendaling.

Empirische illustratie: gemeentelijk afvalbeheer
In deze paragraaf passen we de hiervoor behandelde concepten toe in de praktijk van het gemeentelijke afvalbeheer. Gemeenten hebben de wettelijke taak om afval van particulieren in te zamelen en af te voeren. Vooral de afvalinzameling wordt op verschillende manieren georganiseerd. Sommige gemeenten doen het zelf, andere werken met andere gemeenten samen of besteden uit aan overheidsbedrijven of particuliere bedrijven. Dat heeft gevolgen voor de definitie van de kostenfunctie. Voor gemeenten met eigen diensten zijn de kosten daadwerkelijk productiekosten, maar bij uitbesteding gaat het om de kosten van een inzamel- of verwerkingscontract met derden. In die contractkosten is een winstopslag voor de inzamelaar of verwerker begrepen. Voor de gemeente zelf zijn echter noch de productiekosten noch de winstopslag van een externe partij direct te beïnvloeden. Alleen door stemmen met de voeten (van contract veranderen) kan de gemeente op langere termijn haar contractkosten beïnvloeden. Voor de korte termijn zijn echter de contractkosten een gegeven.
Dat rechtvaardigt een aanpak van de kostenfunctie, waarbij het gaat om de meest efficiënte wijze waarop het gemeentelijk management keuzen maakt, en niet om de externe inzamelaar of verwerker zelf. In de eerste fase van de bepaling van de grenskostenfunctie zijn daarom alleen variabelen betrokken die de productie meten, aangevuld met omgevingskenmerken die de techniek van ophalen of verwerken beïnvloeden. Outputvariabelen zijn het aantal huishoudens (vooral relevant voor de inzameling) en het afvalgewicht (vooral relevant voor de verwerking). Omgevingsvariabelen zijn de straatlengte (relevant voor het aantal voertuigkilometers) en de mate van stedelijkheid (in grotere steden moet andere technologie worden aangewend).

We kiezen hier voor de stochastische frontieranalyse (SFA) om de gemeenten met de hoogste kostenefficiëntie (best practices) te bepalen. Door de keuze van de flexibele translog kostenfunctie kan aangesloten worden bij een zo algemeen mogelijke vorm van de kostenfunctie. Voor details verwijzen we naar een nog te verschijnen publicatie over benchmarking van het afvalbeheer in het kader van een door het ministerie van Binnenlandse Zaken en Koninkrijksrelaties gesubsidieerd onderzoek naar productiviteit en innovatie in de publieke sector (Felsö, de Groot en van Heezik, 2011). Hier laten we enkele uitkomsten zien. Met de aangegeven variabelen wordt een goede verklaring gevonden van de kosten(grens)functie van afvalbeheer over de periode 2001-2009 voor 410 gemeenten. Met de grensfunctie zijn efficiëntiescores voor individuele gemeenten af te leiden. Figuur 3 geeft daarvan een beeld voor 2009.

Figuur 3. Kostendoelmatigheid van afvalbeheer voor 410 gemeenten in 2009, geordend naar oplopende waarden

Uit figuur 3 is af te leiden dat de gemiddelde efficiëntiescore relatief hoog is – circa 0,97 – terwijl de spreiding beperkt is. Slechts circa 10 procent van de gemeenten heeft een score die meer dan 0,1 lager is dan de meest efficiënte gemeenten (met score 1). Inzicht in de beleidskeuzen die leiden tot meer of minder kostenefficiëntie wordt verkregen door de efficiëntiescores vervolgens in verband te brengen met door de gemeente te beïnvloeden variabelen. In deze illustratie is gekozen voor de volgende variabelen: de beslissing om de afvalinzameling zelf uit te voeren of uit te besteden aan derden (organisatievorm), het aandeel van een bepaalde inzamelmethode (brengen van afval door burgers in plaats van ophalen) en een ruwe maat voor de kwaliteit, gemeten met de inzamelfrequentie. Figuur 4 schetst het efficiëntieniveau naar organisatievorm, nog zonder rekening te houden met de andere genoemde variabelen.

Figuur 4. Efficiëntieniveau naar organisatievorm

Over de hele periode genomen zijn gemeenten, die afvalinzameling uitbesteden aan een particulier bedrijf, gemiddeld het meest efficiënt. Gemeenten die de dienstverlening door een buurgemeente laten uitvoeren zijn daarentegen het minst efficiënt. Gemeenten die zelf inzamelen, in een samenwerkingsverband participeren, een overheidsbedrijf inschakelen of een andere organisatievorm kiezen, liggen hier qua efficiëntieniveau tussenin en verschillen niet significant. Dit beeld verandert niet als ook de andere sturingsvariabelen (aandeel brengen versus halen, inzamelfrequentie), alleen beschikbaar voor de periode 2004-2009, in de analyse worden betrokken. De hier gepresenteerde analyse is een eerste stap. In vervolgonderzoek zal worden gekeken naar de mogelijke schaaleffecten, de markt van inzamelaars en verwerkers en details van de toegepaste contractvormen. De bestaande literatuur vindt doorgaans constante schaalopbrengsten in het afvalbeheer. Daarbij past de kanttekening dat er een samenhang kan zijn tussen organisatievorm en schaaleffecten. Zo kunnen kleine gemeenten door uitbesteding profiteren van de schaalvoordelen van grote inzamelbedrijven. Bestaande literatuur suggereert daarnaast dat de Nederlandse markt van inzameling en verwerking mogelijk minder efficiënt functioneert door een relatief klein aantal bedrijven (Dijkgraaf en Gradus, 2007).
Voorzover de hier gevonden efficiëntiescores van individuele gemeenten voldoende robuust zijn bij verschillende specificaties van de kostenfunctie, kunnen zij ook worden gebruikt als basis voor discussie tussen gemeenten over de oorzaken van verschillen en eventuele verbetermaatregelen in het afvalbeheer. Dat kan een zinvolle aanvulling en validering opleveren van de verbanden die met de hier uitgevoerde statistische analyses zijn gevonden. Bovendien kan dan veel scherper worden ingezoomd op bijzondere omstandigheden die zich soms moeilijk laten meenemen in de geschetste aanpak.

Conclusies en aanbevelingen
Dit artikel laat zien dat een zorgvuldige opzet van benchmarking kan leiden tot interessante en beleidsrelevante uitkomsten. Het grote voordeel van benchmarking is en blijft dat geen theoretische blauwdruk wordt gehanteerd over optimale bedrijfsvoering of beleid van organisaties, maar bestaande organisaties als best practices dienen. Maar om de leereffecten maximaal te doen zijn – verbeteren van prestaties is immers het doel – dient wel goed inzicht in de geconstateerde verschillen te bestaan. De in dit artikel voorgestane aanpak, gebaseerd op algemene concepten van productiviteit en doelmatigheid, maakt het mogelijk dat inzicht te verkrijgen door kwantitatieve analyses met gegevens op instellingsniveau. uitkomsten op instellingsniveau maken het bovendien mogelijk om de discussie over oorzaken van verschillen en verbetermogelijkheden ook met direct betrokkenen te voeren.

Bestaande literatuur en eigen onderzoek overziend, lijkt een aantal kritische succesfactoren van belang voor de geschetste aanpak: (1) Vergelijkbare, bij voorkeur meerjarige gegevens over kosten en prestaties op instellingsniveau, (2) analyse van oorzaken van verschillen om bruikbare beleidsaanbevelingen te kunnen doen, (3) Transparantie over effi ciëntie en resultaten van publieke instellingen moeten samengaan met het creëren van draagvlak bij betrokkenen over aanpak en uitkomsten, (4) Benchmarking mag geen substituut zijn voor het creëren van mechanismen in regelgeving en bekostiging die prikkelen tot grotere doelmatigheid en effectiviteit in de publieke sector.
De praktijk laat zien dat aan de genoemde voorwaarden vaak nog niet is voldaan. meerjarige en vergelijkbare gegevens zijn nogal eens een struikelblok, in het bijzonder waar geen wettelijke verplichtingen tot gegevensverzameling bestaan. Zo berusten veel gemeentelijke benchmarks op vrijwillige deelname van per onderwerp wisselende gemeenten. Zelfs aan de grootste benchmarks neemt vaak niet meer dan een kwart van de gemeenten deel. Het is bij benchmarking verleidelijk om te volstaan met een rangorde van instellingen, geordend naar prestaties, zonder te investeren in de doorgaans tijdrovende en kostbare analyse van gevonden verschillen. Benchlearning is een nog ver verwijderd ideaal, waarbij naar onze indruk degelijke, kwantitatieve analyse van benchmarkdata nog maar beperkt wordt toegepast.

Jos Blank en Flóra Felsö zijn directeur, respectievelijk senior onderzoeker bij het centrum voor Innovatie en Publieke Sector Efficiëntie (IPSE) van de Technische universiteit Delft.
Hans de Groot is hoogleraar Public management bij de faculteit management en Bestuur van de universiteit Twente.

Literatuur

• Blank, J. L. T. (2010), Principes van productiviteitsmeting. Maastricht: Shaker Publishing B.V.
• Felsö, F., de Groot, H. en van Heezik, A. (te verschijnen). Benchmark gemeentelijk afvalbeheer. Delft: IPSE studies.
• De Groot. H. (red.) (2004). Benchmarking in de publieke sector. Den Haag: Sdu.
• De Groot, H. (2011). Cost-effectiveness: the forgotten dimension of public sector performance. Paper Public Management Research Association, Syracuse.
• Dijkgraaf, E., en Gradus, R. (2007). Collusion in the Dutch waste collection market. Local Government Studies, 33, 573-588.
• Färe, R., & Primont, D. (1995). Multi-Output Production and Duality: Theory and applications. Dordrecht: Kluwer Academic Publishers.
• Fried, H. O., Lovell, C. A. K. en Schmidt, S. S. (2008). The measurement of productive efficiency and productivity growth. New York: Oxford University Press.
• Lovell, C. A. K. (2000). Measuring efficiency in the public sector. In J. L. T. Blank (Ed.), Public provision and performance: contributions from efficiency and productivity measurement. Amsterdam: Elsevier.
• Pollitt, C. and Bouckaert, G. (2004). Public Management Reform, A Comparative Analysis. Oxford: Oxford University Press.
• Van Helden, G.J. en Brouwer, N. (2005). Benchmarking en prestatievergelijking in de publieke sector, Maandschrift Accountancy en Bedrijfseconomie, november 2005, 573-581.