Het ontwerpen van overheids-benchmarks

Benchmarking biedt overheden een referentiekader op basis waarvan de eigen prestaties kunnen worden geïnterpreteerd en kunnen worden voorzien van een waardeoordeel. Het kan tevens aanknopingspunten geven in welke richting de mogelijkheden tot prestatieverbetering van de eigen organisatie dienen te worden gezocht. Benchmarken kan waardevol zijn voor iedere overheidsorganisatie, mits juist opgezet en uitgevoerd. En daar gaat het regelmatig mis. Als men praat met partijen die een benchmarkvergelijking hebben ondergaan, dan zijn de reacties opvallend regelmatig niet al te positief. De volgende redenen worden telkens opnieuw genoemd als belangrijkste oorzaken voor het mislukken van veel benchmarkinitiatieven:

1. mijn bestuur is niet gebaat bij transparantie;
2. de resultaten worden te vaak misbruikt door externen;
3. benchmarken is te eenzijdig (je krijgt wat je meet);
4. er worden appels met peren vergeleken;
5. het kost te veel tijd, geld en capaciteit.

De eerste twee argumenten hebben te maken met de rol en het doel van de benchmark. Argument drie heeft te maken met de rol van prestatie-indicatoren als stuurinstrument binnen (overheids)organisaties. De discussie hierover geldt in principe ook voor andere prestatiemeetsystemen. Argument vier gaat over de methodiek van het benchmarken. Argument vijf beroept zich op het rendement tussen inspanningen en effect. Bij elkaar dekken ze de vier grote benchmarkvraagstukken die in ieder benchmarkinitiatief dienen te worden opgelost: (1) rol en doel, (2) de prestatiesturing, (3) de vergelijkbaarheid, en (4) het rendement. Ik noem ze expres de vier grote vraagstukken omdat het antwoord op ieder vraagstuk bepalend is voor het ontwerp en daarmee het succes van een benchmark.

Het vraagstuk van de rol en het doel van benchmarking
Globaal kunnen drie groepen van redenen worden onderscheiden waarom overheids- en non-profitorganisaties aan benchmarking doen. Iedere groep redenen vereist in principe andere keuzen met betrekking tot de opzet van een benchmarktraject.
De drie groepen zijn:

1. benchmarken om te verantwoorden;
2. benchmarken om te komen tot (zelf)normering;
3. benchmarken om te leren.

Benchmarken om te verantwoorden
Door het creëren van transparantie kunnen partijen buiten de organisatie, zoals subsidiegevers, toezichthouders, burgers of afnemers, beter zien hoe de organisatie functioneert. Zij kunnen daaruit conclusies trekken met betrekking tot hun gedrag jegens de organisatie. Zij kunnen meer of minder subsidie gaan geven of bijvoorbeeld een ander bestuur kiezen. Benchmarken om te verantwoorden beïnvloedt daarmee het gedrag van de omgeving van de organisatie jegens de organisatie en maakt de organisatie daarmee kwetsbaar. Organisaties hebben de natuurlijke neiging om zich te wapenen tegen deze moeilijk in te schatten effecten op het gedrag van derden. De neiging zal bestaan het vergelijkingsmateriaal zo te presenteren en soms zelfs te manipuleren dat de eigen organisatie niet te slecht uit de benchmarkvergelijking komt. Omdat het een natuurlijke tendens is om zich te wapenen tegen de effecten van transparantie, is het noodzakelijk om bij het ontwerp van verantwoordingsbenchmarks rekening te houden met de mogelijkheid van strategisch invulgedrag door bepaalde groepen deelnemers.

Benchmarken om te komen tot zelfnormering
Deze vorm van benchmarken komt sporadisch voor in het openbaar bestuur. In tegenstelling tot verantwoordingsbenchmarks hebben alle deelnemers er belang bij dat een bepaalde meetlat wordt ontwikkeld op basis waarvan bijvoorbeeld subsidieverdeelmechanismen zullen gaan functioneren. Doordat er externe effecten zijn gekoppeld aan de uitkomsten van de benchmark, dient ondanks het gedeelde belang van de benchmark voor de deelnemers, rekening te worden gehouden met strategisch invulgedrag. Benchmarks die worden opgezet met het doel om te komen tot zelfnormering dienen daarom op grote lijnen aan dezelfde ontwerprichtlijnen te voldoen als benchmarks die verantwoording tot doel hebben.

Benchmarken om te leren
In tegenstelling tot de verantwoordings- en zelfnormeringsbenchmarks hebben benchmarks met een leerdoelstelling ten principale geen externe werking.

De informatie uit de benchmark is bedoeld voor intern gebruik door de organisaties. De informatie uit de benchmark is in principe niet openbaar. Derden kunnen daardoor niet direct consequenties verbinden aan de uitkomsten van de benchmark.² Organisaties die benchmarken om te leren doen dit in principe uit eigen belang. Zij hebben daardoor minder belang bij strategisch invulgedrag. Het leereffect zou daarmee immers afnemen. Door zich kwetsbaar op te stellen in de benchmarkvergelijking wordt het meest geleerd over het eigen functioneren. Benchmarks die het leren tot doel hebben, hoeven daardoor minder zware maatregelen te treffen om de kwaliteit van het benchmarkmateriaal te garanderen.

Veel benchmarks zijn in het verleden opgezet met als uitgangspunt het combineren van de drie doelstellingen (verantwoorden, zelfnormeren en leren). De ervaringen uit het verleden laten zien dat dit leidt tot een suboptimale benchmark, met onbetrouwbaar vergelijkingsmateriaal en weinig draagvlak bij de deelnemers. Met name de doelstellingen verantwoorden en leren staan haaks op elkaar. Verantwoording vereist openbaarmaking van de informatie. Bij het leren zou dit funest zijn voor de gewenste kwetsbare opstelling van partijen. Bij benchmarken om te verantwoorden wordt een prikkel gecreëerd die van buitenaf de organisatie aanzet tot organisatieverbetering. Bij de benchmark om te leren is deze prikkel de eigen wil van de organisatie om te verbeteren.

De discussie over het doel van benchmarking concentreert zich rond de vraag of beide doelstellingen, verantwoorden en leren, toch niet te combineren zijn. De Raad voor het Openbaar Bestuur adviseert de regering in haar advies ‘Presteren door te Leren’ de beide doelstellingen vooralsnog gescheiden te houden. Daartegenover staat dat een belangrijk deel van de benchmarkinitiatieven wordt gedreven vanuit het transparantiestreven. Het rijksoverheidsprogramma heeft dit element dan ook nadrukkelijk in zich, net als het recent ingevoerde dualisme in de structuur van de lagere overheden.
In verschillende benchmarkinitiatieven wordt geëxperimenteerd met systemen om leren en verantwoorden toch te combineren. Dit gebeurt onder andere door onderscheid te maken naar rapportages voor intern gebruik en voor extern gebruik, waarbij de externe gebruikers de benchmarkinformatie op een hoger aggregatieniveau en/of geanonimiseerd krijgen.

Tabel 1. Verschillen tussen benchmarks om te verantwoorden en om te leren

Vraagstuk van de prestatiesturing
De tweede groep discussiepunten heeft betrekking op het benoemen van prestatie-indicatoren en prestatiesturing in het algemeen. Hoe kies je de juiste indicatoren om je organisatie op te sturen. Worden deze vraagstukken niet adequaat opgelost, dan hebben prestatiemeetsystemen de neiging een eigen leven te gaan leiden en hun doel voorbij te schieten. Ze worden gekoesterd door de controllers maar vaak niet meer als relevant beschouwd door de uitvoerders van wie de prestaties worden gemeten aan de hand van de gedefinieerde indicatoren.

De Delftse hoogleraar De Bruin reikt onder andere de volgende oplossingen aan om prestatiemeetsystemen hanteerbaar te houden:

• Bepaal de prestatie-indicatoren samen met de subjecten van het meetsysteem (de professionals). Laat de professionals meebepalen welke indicatoren iets zinvols kunnen zeggen over de prestaties waarop zij dienen te worden gestuurd.
• Monopoliseer de interpretatie van de prestaties niet. Geef met andere woorden ruimte aan de uitleg van de prestaties. Benchmark niet alleen cijfers maar geef ook het verhaal achter de cijfers weer in de rapportages. Daarnaast kan de monopolisering van de interpretatie worden voorkomen door prestaties vanuit meerdere invalshoeken te benchmarken.
• Hecht niet al te veel waarde aan het meetsysteem. De Bruin vervat dit in de paradox dat hoe minder waarde je hecht aan het meetsysteem, hoe effectiever het werkt. In de praktijk betekent dit dat het verstandig is naast benchmarking ook andere wijzen van prestatiemeting erop na te houden. In hun relatief verband ten opzichte van andere informatiebronnen kan de betrouwbaarheid en waarde van de meting beter worden geschat en is men eerder geneigd de uitkomsten te accepteren.

De modernere benchmarkinitiatieven hebben geleerd uit de bovengenoemde lessen. De meeste komen inmiddels tot stand met nadrukkelijke inbreng van de professionals wiens werk wordt vergeleken.³ Waar vroeger vrijwel alleen naar de financiële prestaties werd gekeken, is heden ten dage inmiddels altijd ook ruimte om deze prestaties te bezien vanuit meer invalshoeken. Zo wordt ruimte gegeven aan de betrokkenen de resultaten op verschillende manieren te interpreteren. Ook de plaats van benchmarking naast het gebruik van andere prestatiemeetsystemen (zoals eigen klantonderzoeken, accountantsverklaringen en inspectierapporten) wordt nadrukkelijk aangemoedigd.

Vraagstuk van de appels en de peren
De derde groep vraagstukken, die bij het ontwerp van een benchmark initiatief dienen te worden beantwoord, hebben betrekking op de vergelijkbaarheid van prestatie-indicatoren tussen de deelnemende organisaties. De eerste benchmarks besteedden nauwelijks aandacht aan deze problematiek. Zij waren daardoor zeer kwetsbaar voor kritiek en zijn dan ook nooit een lang leven beschoren geweest. Benchmarks van latere generaties proberen de vergelijkbaarheid van tevoren veilig te stellen door specifiek voor te schrijven wat onder iedere prestatieindicator dient te worden verstaan. Bij het opstellen van de definities was vaak onvoldoende rekening gehouden met de wijze waarop overheidsorganisaties informatie registreren, waardoor relevante informatie niet kon worden achterhaald of kon worden vergeleken. Als reactie hierop is het nu standaardpraktijk dat deelnemers van tevoren met elkaar overleggen over het nut en de vergelijkbaarheid van de te benchmarken prestatie-indicatoren. Dit voorkomt ook dat de deelnemers zich achteraf kunnen verschuilen achter de onvergelijkbaarheid van de benchmarkuitkomsten. Men heeft er immers zelf bijgezeten toen de afspraken werden gemaakt over de te hanteren indicatoren en achterliggende gegevensdefinities.

Qua ontwikkeling van de benchmarkmethodiek lijkt hiermee de ideale situatie te zijn bereikt. Toch gaan de ontwikkelingen nog steeds verder. De samenwerking in benchmarkplatforms wordt door veel overheidsorganisaties aangegrepen om de gegevens uit hun eigen registraties structureel te herdefiniëren in een formaat, waarmee zij in de benchmark vergeleken kunnen worden. De verwachting is dan ook dat de indicatoren van succesvolle benchmarks als standaard gaan gelden voor veel management informatiesystemen binnen de gebenchmarkte sector.

Rendementsvraagstuk: omzetten van benchmarkinformatie in verbetertrajecten
De laatste groep discussiepunten concentreert zich op de wijze waarop benchmarkinformatie uiteindelijk leidt tot organisatieverbetering. Wij gebruiken hiervoor de term benchmarkrendement. In het benchmarkrendement komt tot uitdrukking of de inspanningen die een overheidsorganisatie zich moet getroosten om deel te nemen aan een benchmarkvergelijking in verhouding staan tot het nut dat de organisatie heeft van de uitkomsten bij het doorvoeren van verbeteringen.

De vraag hoe het benchmarkrendement kan worden verbeterd, kent twee componenten. Ten eerste kan men de kosten van benchmarkdeelname verlagen, waardoor deelname eerder rendabel is. Ten tweede kan men zorgen dat er meer wordt gedaan met de uitkomsten. Op beide gebieden zijn ontwikkelingen gaande die wij hier globaal behandelen.

Verlagen van de kosten van benchmarking
De sleutel om de kosten van benchmarking te verlagen ligt in de institutionalisering van het instrument. Zo zullen de kosten dalen wanneer de benchmark regelmatig wordt herhaald. Men hoeft immers steeds minder aan de methodiek zelf te ontwikkelen. Ook zullen de succesvolle benchmarks steeds meer deelnemers krijgen waarover de kosten kunnen worden gespreid. Zet de eerder geconstateerde trend van gelijkschakeling van de inrichting van management informatiesystemen door, dan zal ook het verzamelen van de informatie bij de benchmarkdeelnemers steeds minder tijd en geld gaan kosten. Inmiddels zijn er al partijen op de markt die benchmarksamenwerkingsverbanden structureel ondersteunen en effectieve en goedkope benchmarkoplossingen bieden.⁴

Verhogen van de opbrengsten van benchmarking
De wijze waarop benchmarkinformatie uiteindelijk bijdraagt aan het verbeteren van het functioneren van overheidsorganisaties verschilt momenteel enorm per benchmark en per organisatie. De effecten zijn soms zeer direct en soms veel indirecter dan verwacht. Toch zijn er enkele algemene uitgangspunten die in de wereld van benchmarking inmiddels algemeen geaccepteerd zijn.
Het gebruik van de informatie als aanjager van veranderprocessen is met name afhankelijk van de vraag hoeveel vertrouwen het management in de uitkomsten van de benchmark heeft. Benchmarkinformatie concurreert in potentie met andere informatiebronnen zoals klantonderzoeken, managementletters van accountants, INK-zelfevaluaties, doorlichtingen door externe bureaus en inspectierapporten. Het vertrouwen wordt onder andere vergroot als de uitkomsten uit de benchmark in lijn zijn met de indrukken uit de andere informatiebronnen. Het gebruik van meerdere informatiebronnen doet het effect van het prestatiemeetsysteem toenemen, juist doordat de benchmark niet als enige de waarheid in pacht heeft.

Daarnaast is inmiddels algemeen geaccepteerd dat een benchmark op één of andere manier ook collectief een vervolg moet krijgen.⁵ Van de fase van het verwonderen moeten de deelnemers overgaan naar de fase van het begrijpen en leren. Vandaar dat vrijwel iedere moderne benchmark een vervolg kent in vergelijkingskringen, kenniskringen, werkgroepen, visitatiegroepjes of andere vormen van bijeenkomsten waarin kennis wordt uitgewisseld over de achtergronden van elkaars prestaties in de benchmarkvergelijking. De benchmarkvergelijking blijkt daarbij steeds meer een opstap te zijn tot een intensievere samenwerking met collega-organisaties.

Er is beperkt bewijsmateriaal dat suggereert dat organisaties die over de gehele linie slecht uit een benchmarkvergelijking komen meer baat hebben bij de benchmarkdeelname dan de partijen die alleen maar positief naar voren komen. Dit is deels verklaarbaar doordat de benchmark een externe rechtvaardiging kan zijn om reeds voorgenomen veranderingen er alsnog bij het hogere management of het bestuur door te drukken. Het oordeel van de buitenstaander (c.q. het benchmarkcollectief) wordt vaak hoger aangeslagen dan het oordeel van het eigen management.

Een succesvol benchmarkconcept als conclusie
Wilt u als public controller een benchmark opzetten om de prestaties van uw organisatie te vergelijken, dan kan u de volgende conclusies trekken uit deze verhandeling over de vier grote benchmarkvraagstukken. Tenzij u in staat bent om uw wil dwingend op te leggen aan de sector die u wilt benchmarken, doet u er goed aan eerst medestanders te werven onder de benchmarksubjecten (de professionals) en collega-overheden. Dit kunt u doen door met hen van tevoren overeenstemming te bereiken over de relevante prestatie-indicatoren, zowel qua inhoud als qua vergelijkbaarheid tussen de verschillende potentiële deelnemers aan de benchmark. Probeer ook van tevoren overeenstemming te bereiken met de betrokkenen over de mate van openbaarheid van de resultaten. Laat de potentiële deelnemers inschrijven op de benchmark en zich daarmee ook financieel committeren aan het initiatief. Het mooiste is als de betrokkenen zich uitspreken voor een langetermijnsamenwerking, waarin men op zich neemt de benchmark periodiek te herhalen. Geef in de presentatie van de resultaten veel ruimte voor interpretatie en ‘het verhaal achter de cijfers’. Zorg ervoor dat de benchmark een vervolg krijgt in kennisuitwisselingsessies waarin met de deelnemers wordt gezocht naar verklaringen voor de geconstateerde verschillen. Evalueer na afloop de resultaten van de benchmarkexercitie met elkaar zodat het instrument een volgende ronde nog beter is toegesneden op de behoeften van alle betrokkenen. Doet men dit alles, dan is de kans groot dat het benchmarkinitiatief alle betrokkenen voldoende vertouwen en toegevoegde waarde biedt om ook op lange termijn te dienen als effectief verantwoordings- en stuurinstrument.

Marcel Hoogwout is als partner van het overheidsadviesbureau Zenc BV actief betrokken bij diverse benchmarkinitiatieven in het openbaar bestuur. Daarnaast doet hij aan de Universiteit Twente promotieonderzoek naar overheidsdienstverlening.

Noten
¹ Dit artikel is een sterk ingekorte voorpublicatie van een hoofdstuk uit het binnenkort te verschijnen boek ‘Benchmarken bij Overheid- en Non-profit organisaties’.
² Het is als overheidsorganisatie tegenwoordig moeilijk om dergelijke informatie geheim te houden. Derden kunnen in principe met een beroep op de Wet openbaarheid van bestuur openbaarmaking vorderen bij de rechter.
³ Zie bijvoorbeeld de beschrijving van een groot aantal benchmarks in H. de Groot (red), ‘Benchmarken in de Publieke Sector’ deel 4 in de serie Public Controlling, Sdu Uitgevers, Den Haag, 2004.
⁴ Zie bijvoorbeeld www.benchmarknet.org of het Duitse IKO-Netz (www.kgst.de).
⁵ Zie voetnoot 3.