Benchmark: instrument voor efficiëntie bij gemeenten?

Doelmatigheidsonderzoeken vormen een belangrijk instrument in gemeenteland. In dit artikel is de centrale vraag: vormen benchmarks een aanvulling op het gemeentelijk instrumentarium voor doelmatigheidsvraagstukken? Aan de hand van een aantal voorbeelden van de gemeente Den Haag wordt deze vraag beantwoord. Benchmarks zijn als zodanig vaak niet geschikt voor het doen van uitspraken over doelmatig- en doeltreffendheid van gemeentelijk beleid. Maar, zij vormen wel een startpunt voor doelmatig- en doeltreffendheidsonderzoek: daarvoor worden aan het slot van het artikel enkele praktische tips gegeven.

Benchmarken: wat is het en wat kun je ermee?
Het begrip benchmark wordt veel gebruikt en kent vele definities. Er zijn ook veel verschillen. Denk aan benchmarks voor het meten van de overhead van verschillende instellingen aan de ene kant of het vergelijken van de lokale lasten voor burgers in verschillende gemeenten aan de andere kant. Cijfers in de vorm van scorelijsten vinden in de media gretig aftrek, zoals de cijfers uit de jaarlijkse Atlas voor gemeenten. Deze bevat een aantrekkelijkheidindex en een sociaal-economische index die de veertig grootste Nederlandse gemeenten rangschikken op vele indicatoren.

De introductie van benchmarking binnen de Nederlandse publieke sector is gestimuleerd door het zogenaamde ‘New Public Management’. Dit denken gaat ervan uit dat de overheid gebruik maakt van opvattingen uit de private sector, waarbij de nadruk ligt op de doelen die een overheid wil bereiken. De doelen dienen zoveel mogelijk in meetbare termen geformuleerd te worden. Doeltreffendheid en doelmatigheid zijn daarbij belangrijke waarden geworden. De belangrijkste effecten van dit denken zijn decentralisatie, het sluiten van contracten met het bedrijfsleven, het invoeren van marktwerking, de klantvriendelijke benadering, ondernemerschap en het streven naar kwaliteitsverbetering. Ook worden in het kader van kwaliteitszorg verschillende instrumenten ingezet zoals monitoring, visitatie- en benchmarksystemen (ROB, 2002, p.15).

Veel organisaties geven aan te participeren in een benchmarkonderzoek. Maar wat bedoelen ze dan met benchmarking? Kan alles wat als benchmark wordt gepresenteerd ook als benchmark worden beschouwd?

In de literatuur worden verschillende definities van benchmarking gehanteerd. Een veel gebruikte definitie is die van Camp (1989): “Benchmarking is systematisch onderzoek naar de prestaties en de onderliggende processen en methoden van een of meer leidende referentieorganisaties op een bepaald gebied, en de vergelijking van de eigen prestaties en werkmethoden met deze best practice, met het doel om de eigen prestaties te plaatsen en te verbeteren.” Of korter: ‘Benchmarking is het zoeken en toepassen van best practices’ (Camp, 1989). Camp was werkzaam bij het Amerikaanse bedrijf Xerox waar de term benchmarking in de jaren ’80 ontstond nadat zij zagen dat kopieerapparaten van de concurrent goedkoper werden aangeboden dan die van Xerox. Een team van ingenieurs dat Xerox naar Japan stuurde, kreeg als opdracht mee om een benchmark te vinden waar het bedrijf zichzelf mee kon vergelijken. Dit resulteerde in een uitgebreid benchmarkprogramma. Maar, literatuur wijst ook naar de Japanners die al in de jaren ’50 begonnen met het bezoeken van handelsbeurzen in de VS en Europa om producten te ontleden en na te bouwen. Later gingen ze ook de achterliggende processen analyseren (Huijben, 2008).

Ook wordt benchmarking gekoppeld aan het verbeteren van de bedrijfsvoering van organisaties. Dan wordt benchmarking gedefinieerd als “…een techniek waarbij kerngegevens over het voortbrengingsproces van goederen of diensten binnen een organisatie worden vergeleken met gegevens van een of meer andere organisaties teneinde de doelmatigheid en doeltreffendheid in die organisatie te vergroten” (Hakvoort, 2008).

Hoogwout (2004) geeft aan dat in de definities meestal elementen terugkomen als het vergelijken van prestaties van organisaties met het doel om te leren van best practices. Deze laatste definitie gebruiken we dan ook in dit artikel.

Benchmarken om te leren
Na het bepalen van een definitie is het goed om te duiden wat de verschillende redenen kunnen zijn voor organisaties om te benchmarken. Deze relateren we aan de redenen voor doelmatigheidsvragen bij gemeenten.

Door Camp (1989) zijn de volgende doelen aangegeven die organisaties met benchmarken hebben:

1. Objectief vaststellen van de eigen prestatie
2. Tot stand brengen van druk om te verbeteren
3. Identificeren van superieure processen
4. Focussen op de relatie tussen processen en resultaten
5. Onderzoeken of beoogde verbeteringen succesvol zijn

Hoogwout (2004) noemt drie redenen voor benchmarking: verantwoording, (zelf)normering en leren. Op hoofdlijnen valt er volgens hem een onderscheid te maken tussen verantwoorden enerzijds en leren anderzijds. Organisaties gebruiken benchmarking om verantwoording af te leggen over hun prestaties en deze transparant te maken. Een ander belangrijk doel is het leren van andere organisaties en het aanzetten tot het verbeteren van prestaties.

In dit verband heeft de Raad voor het Openbaar Bestuur interessante uitspraken gedaan in haar advies ‘Presteren door leren’. De raad wijst op de mogelijkheid van het optreden van onbedoelde en ongewenste (perverse) effecten wanneer benchmarking als verantwoordingsinstrument, zowel in verticale als in horizontale zin, wordt ingezet. Het met de inzet van dit instrument beoogde leergedrag zal dan al snel onder druk komen of zelfs teniet worden gedaan. De raad vindt dan ook dat benchmarking vooral een leerfunctie heeft en niet primair een informatiefunctie, laat staan een toezichtfunctie. Als er zoveel nadruk wordt gelegd op leren, hoe kunnen we benchmarking dan relateren aan doelmatigheid en doeltreffendheidsvragen? Dit sluit elkaar volgens de raad niet uit, omdat “benchmarking in de publieke sector goede mogelijkheden biedt om te komen tot een transparante, lerende overheid en dat het instrument kan leiden tot een hogere mate van doelmatigheid en doeltreffendheid van overheidsbeleid” (ROB, 2002, p. 7). De raad deed deze uitspraken overigens in het licht van de bestuurlijke verhoudingen tussen Rijk, provincies en gemeenten. Voorkomen moet dus worden dat benchmarks worden ingezet als verticaal verantwoordingsinstrument tussen gemeenten en provincies enerzijds en het Rijk anderzijds.

Geconcludeerd kan dus worden dat de inzet van benchmarking geschikt is als middel om tot een lerende, transparante overheid te komen en daarmee tot meer doelmatigheid en doeltreffendheid.

Welke benchmarks zijn voor gemeenten beschikbaar?
De afgelopen jaren is er veel geïnvesteerd in het verzamelen van ervaringskennis van benchmarks in het openbaar bestuur. Voor gemeenten is er een standaard ontwikkeld voor gemeentelijke benchmarks die door het Kwaliteitsinstituut Nederlandse Gemeenten (KING) wordt beheerd. KING certificeert benchmarks op basis van deze standaard. Ieder jaar vindt een nieuwe certificeringsronde plaats. Om in aanmerking te komen voor een KING Benchmark Certificaat moet een benchmark aan bepaalde eisen, die zijn vastgelegd in de standaard, voldoen. Dit zijn eisen over onder andere samenspraak, eigendom van gegevens, kwaliteit van de gebruikte indicatoren en validiteit en betrouwbaarheid van gegevens, gerichtheid op verbetringen in een vertrouwelijke leeromgeving en de zekerheid van continuïteit van meerdere jaren (KING, 2010). In 2011 zijn 31 benchmarks gecertificeerd. Deze zijn gecategoriseerd naar meerdere thema’s zoals werk en inkomen, ruimtelijke ordening, bedrijfsvoering, financiën en belastingen, en onderwijs en jeugd.

Naast deze benchmarks zijn er natuurlijk ook verschillende gemeentelijke vergelijkingscijfers die kunnen worden benut door gemeenten. Denk daarbij aan de jaarlijkse CBS-cijfers, de Atlas Nederlandse Gemeenten van NYFER, de Atlas van de lokale lasten en de Woonlastenmonitor van het Centrum voor Onderzoek van de Economie van de Lokale Overheden (Coelo). Ook op de site www.waarstaatjegemeente.nl is een database opgenomen van cijfers van gemeenten. Dit zijn ‘harde cijfers’, zoals de hoogte van leges en heffingen, inwoneraantallen én oordelen van burgers. Gemeenten kunnen eigen cijfers vergelijken met die van andere gemeenten en ten opzichte van het eigen verleden. Bronnen die worden gebruikt zijn het CBS, de Atlas voor gemeenten en diverse monitors.

Doelmatigheids- en doeltreffendheidsonderzoeken bij gemeenten
Benchmarks worden vaak in verband gebracht met prestatiemeetsystemen in organisaties en met het behalen van resultaten op een doelmatige wijze (Hoogwout, 2004). Hier is ook relatief veel literatuur over verschenen. Er is echter nog niet zoveel bekend over het gebruik van benchmarks of benchmarkgegevens bij het uitvoeren van doelmatigheidsonderzoeken binnen gemeenten.

Gemeenten voeren doelmatig- en doeltreffendheidsonderzoeken (DMO’s) uit over het gevoerde bestuur. Vele gemeenten hadden hier al een gewoonte van gemaakt, maar sinds de dualisering is dit onderzoek ook als een verplichting opgenomen in artikel 213a van de Gemeentewet. Dit geeft aan dat het college periodiek onderzoek verricht naar “de doelmatigheid en doeltreffendheid van het door hem gevoerde bestuur.” Deze vorm van zelfonderzoek is gericht op de uitvoering van het beleid en het functioneren van de gemeentelijke organisatie. Het onderzoek is een instrument van het college. De raad heeft hierin een kaderstellende rol.

Bij de Gemeente Den Haag worden de DMO’s uitgevoerd door de directie Financiën van de Bestuursdienst. Deze plek in de organisatie bevordert de verbindingen met doelmatigheidsvraagstukken. In de huidige tijd van bezuinigingen een belangrijke verbinding omdat op dat snijvlak veel bestuurlijke vraagstukken spelen. Het college wil graag weten hoe het de schaarse middelen zo effectief mogelijk kan inzetten om de Haagse doelen uit het coalitieakkoord zo optimaal mogelijk te bereiken. In het algemeen geldt dat bestuurders hogere eisen stellen aan gemeenten ten aanzien van prestaties, klantgerichtheid en efficiëntie. De druk neemt toe om de beschikbare middelen goed te besteden.

Naast de bezuinigingen is er nog een andere ontwikkeling die hiermee samenhangt. Gemeenten zullen de komende jaren verantwoordelijk worden voor een aantal nieuwe beleidsterreinen: de jeugdzorg, de ambulante hulp in de AWBZ en de Wajong die, met de WSW en de Bijstand, in de nieuwe Wet werken naar vermogen wordt ontschot. De taken op deze terreinen zullen daarmee worden gedecentraliseerd.

Dit brengt nieuwe doelmatigheidsvraagstukken met zich mee, want de middelen die hiermee gemoeid zijn zullen met een forse efficiëntiekorting naar gemeenten worden overgeheveld.

Doelmatigheid en doeltreffendheid zijn twee gerelateerde begrippen die vaak per abuis door elkaar worden gebruikt. Vandaar dat we ze hier nog eens beschrijven. Dit doen we aan de hand van een bekende processchets (zie figuur).

Figuur. Doelmatigheidsanalyse (Klik op figuur voor vergroting)
Bron: Bestebreur (2004) en Regeling periodiek evaluatieonderzoek (2006)

Beschikbare mensen en middelen (input) worden ingezet (throughput) om te komen tot bepaalde producten en diensten met een afgesproken kwaliteit (output). Deze geleverde output levert maatschappelijke effecten op (outcome). De relatie tussen input en output is de doelmatigheid, ofwel efficiëntie genaamd. Dit geeft dus de mate van gebruik van middelen om een bepaald doel te bereiken aan. Een proces wordt efficiënt genoemd als het ten opzichte van een norm weinig middelen gebruikt. Deze middelen kunnen bijvoorbeeld betrekking hebben op tijd, inspanning (manuren), grondstoffen of geld. De relatie tussen output en outcome is de doeltreffendheid, ofwel effectiviteit genaamd. Dit geeft dus aan dat de uitkomst van het proces gerealiseerd wordt. In tegenstelling tot doelmatigheid heeft effectiviteit dus geen betrekking op het proces zelf, maar op de uitkomst ervan (In ‘t Veld, 2002). Daarnaast geeft de relatie tussen inputs en outcomes de kosteneffectiviteit weer. Dat is de pendant van de efficiëntie waarmee outputs worden geproduceerd (Van Dooren, 2010). Deze relatie is belangrijk omdat het uiteindelijk gaat om de beleidsuitkomsten en de kosten daarvan.
DMO’s hebben bovenstaande focus als uitgangspunt en gebruiken verschillende methoden om antwoord te krijgen op de vraag of gemeentelijk beleid de vooraf gestelde doelen bereikt en of dit gebeurt met een doelmatige inzet van middelen.

Benchmarks: input voor doelmatig- en doeltreffendheidsonderzoeken
Bij het uitvoeren van DMO’s kan gebruik worden gemaakt van verschillende cijfers vanuit benchmarks. Dit kan een openbare benchmark zijn (vergelijkingscijfers) of een benchmark waar de organisatie bewust aan meedoet en waarin deze wordt vergeleken met een norm. In dat geval wordt er in de DMO’s vaak gebruik gemaakt van een norm waar de organisatie zich aan kan spiegelen. Tot slot kunnen in DMO’s een of meerdere gemeenten met een specifieke vraag worden benaderd.

Benchmarkgegevens kunnen bij doelmatigheidsonderzoeken worden ingezet voor de toetsing van de input, de throughput of de output:

• Input-benchmarkgegevens
  Hierbij worden inputfactoren zoals formatie en kosten van organisaties of onderdelen daarvan met elkaar vergeleken.
• Throughput-benchmarkgegevens
  Hierbij worden de werkprocessen in de analyse meegenomen en waar mogelijk vergeleken met andere organisaties.
• Efficëntie-benchmarkgegevens
  Hierbij wordt de efficiëntie vergeleken door de input – formatie en kosten – te relateren aan de prestaties – tussenproducten, output en maatschappelijke effecten. Voorbeelden hiervan zijn het aantal ingezette uren per verleende vergunning, de kosten van het maaien per m² gras en de gemeentelijke bijdrage per schouwburgbezoeker.

Benchmarks focussen in de meeste gevallen op een van de bovenstaande aspecten dus input, throughput of output. DMO’s daarentegen gaan in op het totaal en leggen verbanden tussen deze verschillende delen in het proces. In de praktijk worden de verschillende gegevens meestal ook in combinatie ingezet. De volgende paragraaf gaat daarop in.

De praktijk in de gemeente Den Haag
De gemeente Den Haag maakt bij haar doelmatigheidsonderzoeken graag gebruik van benchmarks. Daarbij gaat het om het vergelijken van de prestatie van de gemeente Den Haag met andere gemeenten. Met voorbeelden uit doelmatigheidsonderzoek naar het tarief voor de afvalstoffenheffing, het tekort op de bouwleges en het toezicht en de handhaving in de kinderopvang, zullen we het gebruik van benchmarks in de doelmatigheidsonderzoeken van de gemeente den Haag illustreren.

Afvalstoffenheffing
Dit onderzoek is verricht op verzoek van de raad. Aanleiding daarvoor was dat het tarief voor de afvalstoffenheffing in vergelijking met andere gemeenten hoog leek. Dat riep natuurlijk de vraag op of het niet wat goedkoper kan. In het onderzoek is het ‘Belastingoverzicht Grote gemeenten 2010’ van het Centrum voor onderzoek van de economie van de lagere overheden (Coelo) gebruikt. Daaruit bleek dat het tarief afvalstoffenheffing van de gemeente Den Haag inderdaad hoger was dan in vergelijkbare gemeenten, zoals Rotterdam en Utrecht. Vervolgens is door een extern bureau onderzocht hoe de tarieven van een aantal vergelijkbare gemeenten zijn opgebouwd. Daaruit kwam naar voren dat de gemeente Den Haag alle te onderscheiden kostenposten zoals veegkosten, kwijtschelding en kapitaallasten voor ondergrondse containers toerekent aan de afvalstoffenheffing, maar dat de andere gemeenten dat niet of maar gedeeltelijk deden. Een andere vergelijking van prestaties uit de benchmark van het Coelo, was een vergelijking op de mate van kostendekkendheid. Zo hadden de gemeente Den Haag en de gemeente Rotterdam beide een kostendekkendheidspercentage voor de afvalstoffenheffing van 100%. Wat dit percentage niet zichtbaar maakt was welke kosten de diverse gemeenten aan het tarief toerekenen. Dat is van belang omdat de ene gemeente meer kosten toerekent dan de andere. Zo rekent de gemeente Den Haag meer kosten toe aan de afvalstoffenheffing dan de gemeente Rotterdam. Uit dit voorbeeld blijkt dat het vergelijken van kostendekkendheidspercentages zonder meer niet zinvol is. Een nadere analyse van de gehanteerde definities en toerekeningsmethoden is nodig om goed te kunnen vergelijken.

Toezicht en handhaving kinderopvang
In het onderzoek naar het toezicht en de handhaving in de kinderopvang is getracht om te berekenen hoeveel geld er nodig was om de wettelijke taken op een aanvaardbaar niveau te kunnen verrichten. De zoektocht naar een norm leidde tot een model dat in opdracht van de VNG door een extern bureau is opgesteld om de kosten van de wettelijke taken in beeld te brengen. Toepassing van dit model op de Haagse situatie bracht naar voren dat de gemeente Den Haag met minder capaciteit en geld toe zou kunnen door een andere inzet van de beschikbare middelen. Uit nadere analyse van het model en van de werkwijze van de gemeente Den Haag bleek hoe deze besparing gerealiseerd kon worden: meer inzet op toezicht (preventief) en minder capaciteit op handhaving (achteraf). Daarnaast zou bij de handhaving meer gebruik gemaakt moeten worden van niet-juridische instrumenten.

Bouwleges
In een doelmatigheidsonderzoek dat gericht was op het oplossen van een tekort op de bouwleges zijn de tarieven voor bouwleges van andere gemeenten vergeleken met die van Den Haag. Daarvoor is gebruik gemaakt van de benchmark bouwleges van de Vereniging Eigen Huis. In vergelijking met een aantal grote steden bleek het tarief van de gemeente Den Haag vrij hoog. Om de vragen te kunnen beantwoorden of en hoe Den Haag haar tarief zou kunnen wijzigen is vrij gedetailleerd onderzocht hoe het tarief van een vergelijkbare gemeente was opgebouwd en of de gemeente Den Haag daar iets van kon leren. Ook nu bleek dat er verschillen waren in het toerekenen van kosten: Den Haag rekende veel meer kosten toe aan de bouwleges dan de andere gemeente. Uit de analyse bleek ook waar de gemeente Den Haag op kon besparen.

Bovenstaande voorbeelden geven aan dat een benchmark een nuttig instrument is in de doelmatigheidsonderzoeken. De gegevens uit een benchmark bieden op zichzelf vaak onvoldoende basis voor een oordeel over het functioneren van de gemeente. Verbetering van de kwaliteit van de benchmark zou dit bezwaar kunnen ondervangen. Zonder dat is een analyse van de achterliggende processen nodig om een goed beeld te krijgen van het functioneren en aanknopingspunten te bieden voor verbetering van de processen. Dat onderstreept de stelling dat benchmarks niet geschikt zijn als verantwoordingsinstrument, maar gebruikt moeten worden om van te leren.

Conclusies

• Benchmarks bevorderen de externe oriëntatie en dragen zo bij aan strategie en het lerend vermogen van gemeenten. Ze maken het eigen functioneren transparant en brengen sterke en zwakke punten naar boven en leveren zo input voor verbetering en innovatie.
• Benchmarkgegevens zijn echter als zodanig niet geschikt voor het doen van uitspraken over de doelmatig- of doeltreffendheid van gemeentelijk beleid. Dit om de volgende redenen:
  a De beperkingen van de benchmark: benchmarks maken alleen een vergelijking op de gebenchmarkte gegevens mogelijk, maar daarmee wordt niet altijd de vinger op de zere plek gelegd. Om er achter te komen waar de echte winst te halen is, is vaak nader onderzoek op meerdere aspecten nodig.
  b Het gevaar van onvergelijkbaarheid (zogenaamde appels-en-perenproblematiek’). Prestatie-indicatoren van de deelnemende organisaties in een benchmark zijn niet altijd zonder meer vergelijkbaar. Zolang de kwaliteit van de benchmark niet toereikend is, is nadere analyse nodig om te kunnen vergelijken. Een doelmatig- en doeltreffendheidsonderzoek biedt dan uitkomst.
• Benchmarkgegevens geven suggesties voor verbeteringen en vormen dan ook het startpunt van nader doelmatig- en doeltreffendheidsonderzoek bij gemeenten. Gegevens uit benchmarks kunnen daarvoor op verschillende manieren worden ingezet. Aan de inputkant, de throughput- en de outputkant. Zeker in deze tijden van schaarse middelen en aankomende decentralisaties waarbij doelmatigheidsvraagstukken van groot belang zijn, is het van belang de mogelijkheden goed in beeld te hebben.

Vijf tips voor het gebruik van benchmarks
Bovenstaande leidt tot de volgende top vijf voor het gebruik van benchmarkgegevens bij DMO’s:

• Hanteer de gegevens uit een benchmark als vertrekpunt.
• Selecteer een beperkt aantal volgens de benchmark goed presterende organisaties waar de eigen organisatie mee kan worden vergeleken.
• Betrek ook de wereld achter de cijfers in de analyse en vergelijking, bijv. de achterliggende processen dan wel toerekeningssystematieken van de geselecteerde organisaties. Dit kost veel tijd, vandaar het advies om maar een beperkt aantal organisaties voor vergelijking te selecteren.
• Leg bij de rapportage de nadruk op het leren.
• Wanneer informatie uit niet-openbare bronnen (bijv. interviews) wordt gebruikt: leg de rapportage (zo mogelijk) voor commentaar aan de geselecteerde organisaties voor.

Francine L’Ortye en Ali van der Tempel zijn respectievelijk hoofd en coördinator doelmatigheidsonderzoek bij de Bestuursdienst van de gemeente Den Haag.

Literatuur

• Bestebreur, A., Modern financieel management bij het rijk. De rijksbegroting belicht, Sdu, Den Haag, 2004
• Camp, R.C. (1989), Benchmarking: the search for industry best practices that lead to superior performance. Milwaukee, Wisconsin: Quality press for the American society for quality control.
• Gemeente Den Haag, Afvalstoffenheffing, september 2010.
• Gemeente Den Haag, Beleidsdoorlichting Toezicht en Handhaving in de Kinderopvang, december 2009.
• Gemeente Den Haag, Doelmatigheidsonderzoek Bouwleges, mei 2011.
• Hakvoort, J.L.M. en Klaassen, H.L., Handboek Public Management. Bedrijfsvoeringstechnieken voor overheid en non-profit organisaties, Den Haag, 2008, p. 132.
• Hoogwout M. (2004), ‘Het ontwerpen van overheidsbenchmarks‘, in Public Controlling, Jaargang 2 nr. 2, pag. 32-36.
• Huijben, M.P.M. en Geurtsen, A. (2008), Heeft iemand de overhead gezien? Een beproefde methode om de overhead te managen, Den Haag, Academic Service.
• KplusV in opdracht van VNG en GGD NL, Onderzoek naar de kosten van toezicht en handhaving in de kinderopvang, Arnhem, 9 juli 2009.
• Kwaliteitsinstituut Nederlandse Gemeenten (KING), Het certificeren van benchmarks door KING, Den Haag, 2010.
• KING, Vergelijken, verbazen en verbeteren. Gemeentelijke benchmarkgids 2010, Den Haag, 2010.
• Ministerie van Financiën, Regeling periodiek evaluatieonderzoek en beleidsinformatie, Staatscourant 28 april 2006, nr. 83/pag. 14.
• Raad voor het openbaar bestuur (Rob), Presteren door leren, benchmarken in het binnenlands bestuur, Den Haag, 2002.
• Van Dooren, Bouckaert en Halligan, Performance management in the public sector, Routledge, Oxon, 2010.
• Veld, J. in ’t, Analyse van organisatieproblemen, Wolters Noordhoff, 2002.