De conceptuele beperking

Een manager van een gemeente kreeg onlangs binnen één week de accountant, de controller, de rekenkamercommissie en de inspectie aan zijn bureau: allemaal met dezelfde vraag naar verklaringen voor het exploitatieverloop en allemaal bezig met hetzelfde type doelmatigheidsonderzoek. Zijn al deze doelmatigheidsonderzoeken allen even zinvol?
Wel beschouwd biedt een minder logische onderzoeksopzet een slechte basis voor het trekken van gefundeerde conclusies en het doen van nuttige aanbevelingen. Dit klinkt logisch, maar in de praktijk blijkt het opzetten van doelmatigheidsonderzoek niet altijd makkelijk.

Het conceptueel model
Onderzoek gaat meestal uit van veronderstellingen. Dit geldt evenzeer voor doelmatigheidsonderzoek. Veronderstellingen zijn gedachten over hoe de te onderzoeken processen binnen het openbaar bestuur verlopen of zouden moeten verlopen. Deze veronderstellingen zijn doorgaans impliciet. men gaat er dan vanuit dat de veronderstellingen tot het algemeen gedachtegoed behoren en niet meer ter discussie hoeven te worden gesteld. Zo nemen accountants aan dat de waarde van een administratieve organisatie niet meer hoeft te worden aangetoond, terwijl auditors de waarde van risicomanagement niet meer in twijfel trekken. Het expliciteren van de onderzoeksveronderstellingen gebeurt vaak aan de hand van een conceptueel model. Dit is een schema, waarin de concepten en hun onderlinge relaties staan weergegeven.
Het opmerkelijke is nu, dat als de veronderstellingen expliciet worden gemaakt, zij heel vaak niet blijken te kloppen. Zo was er eens een controller die het standpunt betrok dat de organisatie niet in control was, omdat er geen rapportages zouden zijn. Het schema dat hij impliciet hanteerde kwam kort op het volgende neer (zie figuur 1):

Figuur 1. De relatie tussen rapporteren en beheersen

Navraag bij deze controller leerde echter, dat de controller de rapportages vormgaf aan de hand van input van de managers. Hij was dan voor de ‘centrale penvoering’, hetgeen in de praktijk inhield dat hij een nietje door de aangeleverde documenten sloeg. op zich is het al bijzonder te veronderstellen, dat managers pas gaan beheersen als ze een rapportage onder ogen krijgen die is gebaseerd op hun eigen input… Vervolgens is met de controller besproken wat eigenlijk onder in control of beheersen kan worden verstaan. na een aantal gesprekken hierover, kon control volgens de controller opgevat worden als het realiseren van voorgenomen doelstellingen. naarmate de realisatie zich beter verhoudt tot de vooraf toegekende budgetten, de voorgenomen activiteiten en de beoogde prestaties, wordt de organisatie beter beheerst, aldus de controller. omdat de bovengenoemde rapportage een afwijkingenrapportage betrof, werd alleen gerapporteerd over de onderdelen van de realisatie die afweken van de planning. gesteld kan dus worden dat als er excellent beheerst wordt, er minder afwijkingen ten opzichte van de planning zullen optreden en er dus minder gerapporteerd hoeft te worden. eigenlijk deed zich dus bij nader inzien het volgende model voor (zie figuur 2):

Figuur 2. Het verband tussen rapporteren en beheersen, bij nader inzien

De centrale veronderstelling wordt daarmee geheel anders. In plaats van te veronderstellen dat er slecht beheerst wordt als gevolg van het ontbreken van rapportages, kan men beter veronderstellen dat er niet gerapporteerd behoeft te worden omdat er juist zo goed beheerst wordt. Het zal duidelijk zijn, dat het vervolg van het onderzoek daarmee een geheel andere verloop krijgt. De onderzoekspraktijk binnen het openbaar bestuur levert tal van voorbeelden op van onderzoeken, waarvan de conceptualisering achteraf minder valide is.

Een veel gemaakte fout bij doelmatigheidsonderzoek is het hanteren van een ‘monoconceptueel’ model. Hierbij wordt vooraf een normenkader opgesteld waaraan een bepaald proces moet voldoen. Vervolgens wordt de praktijk getoetst aan de hand van dit normenkader. Als de praktijk niet voldoet aan een of meer criteria uit dit normenkader, wordt vervolgens geadviseerd om met deze criteria aan de slag te gaan en om hier in de toekomst wel aan te voldoen. Dit type onderzoek wordt zeer vaak uitgevoerd door auditors, accountants, controllers en rekenkamers. Het nadeel van deze onderzoeksbenadering is echter, dat het normenkader zelf niet ter discussie kan worden gesteld. Schematisch ziet de opzet er als volgt uit (zie figuur 3):

Figuur 3. Het monoconceptuele model

In het bovenstaande model is een normenkader ontwikkeld dat bij wijze van voorbeeld vier criteria bevat. Vervolgens is de praktijk getoetst aan dit kader. Het kader zelf wordt in deze benadering als uitgangspunt genomen. Het onderzoek zal in het bovenstaande voorbeeld uiteindelijk tot het advies leiden, hard te werken aan criterium 4 en in mindere mate aan criterium 2. Wat nu echter, als het normenkader zelf niet deugt? Dit kan getoetst worden door een tweede concept in het model te introduceren: optimalisatie, efficiency of iets dergelijks. De opzet komt er dan als volgt uit te zien (zie figuur 4):

Figuur 4. Het multiconceptuele model

In de bovenstaande opzet wordt verondersteld, dat het voldoen aan de criteria uit het normenkader uiteindelijk zal leiden tot doelmatigheid. In figuur 4 wordt doelmatigheid als tweede concept geïntroduceerd en voorzien van een drietal indicatoren. De bovenstaande veronderstelling kan daardoor getoetst worden aan de hand van de praktijk, waardoor ook het kader zelf ter discussie kan komen te staan. Het onderzoek uit het bovenstaande voorbeeld is daadwerkelijk ver richt en heeft een praktijk aangetroffen die weliswaar niet geheel voldoet aan de criteria, maar wel erg efficiënt in elkaar steekt. Dit houdt dus in, dat de criteria zelf niet deugen. Het uiteindelijke advies wordt nu geheel anders. In plaats van te adviseren om aandacht te besteden aan het vierde en het tweede criterium, wordt nu geadviseerd om vooral zo door te gaan. De onderzoekers wordt het advies meegegeven het tweede en het vierde criterium te schrappen: deze blijken immers overbodig.

Om de bovenstaande opzet in de praktijk van onderzoek te realiseren, is het natuurlijk wel de bedoeling dat de verschillende concepten van adequate indicatoren worden voorzien. Zo moet vooraf worden aangegeven hoe men naar doelmatigheid gaat kijken en wat men van plan is in dit verband te gaan meten. Daarnaast moet men aangeven wanneer een bepaalde praktijksituatie nu precies voldoet aan de gestelde criteria en wanneer niet. uiteraard mogen de verschillende concepten niet voorzien worden van dezelfde indicatoren. Dit zou immers tot consequentie hebben dat voldoen aan de criteria automatisch inhoudt dat er doelmatig wordt gehandeld.

Een illustratie uit de praktijk
De rekenkamercommissie van een middelgrote gemeente start in 2009 een onderzoek naar risicomanagement. De centrale vraag die voor dit onderzoek wordt geformuleerd luidt: “In hoeverre worden de risico’s binnen de gemeente onderkend en gereduceerd met behulp van beheersingsmaatregelen?” In de deelvragen gaat de rekenkamercommissie in op de doelmatigheid en doeltreffendheid van het gevoerde beleid met betrekking tot risicomanagement:

1. Zijn de getroffen beheersmaatregelen als doelmatig aan te merken?
2. Leiden de getroffen beheersmaatregelen tot het gewenste effect?

Nadat de opzet van onderzoek met bijbehorende deelvragen en het plan van aanpak wordt vastgesteld, wordt een normenkader geformuleerd. Dit normenkader wordt ontleend aan de zogeheten ‘COSO-kubus’. Kort gesteld, schrijft dit kader de volgende stappen en criteria voor:

1. Interne omgeving: met ‘internal environment’ wordt de houding en het gedrag van de interne organisatie bedoeld. onder meer de risicomanagementfilosofie, de risicobereidheid en de integriteit en de ethische waarden van de organisatie maken deel uit van de ‘internal environment’.
2. Formuleren van doelstellingen: doelstellingen moeten aanwezig zijn voordat potentiële gebeurtenissen kunnen worden geïdentificeerd die het behalen ervan kunnen beïnvloeden.
3. Identificeren van gebeurtenissen: interne en externe gebeurtenissen die van invloed zijn op het behalen van de doelstellingen dienen te worden geïdentificeerd. Daarbij dient onderscheid te worden gemaakt tussen risico’s en kansen.
4. Risicobeoordeling: risico’s worden geanalyseerd in termen van kans en impact. op basis daarvan kan een passende maatregel worden geformuleerd. risico’s kunnen worden beoordeeld voor en na de effecten van de getroffen maatregelen.
5. Reactie op risico: per risico wordt de meest geschikte reactie geselecteerd – vermijden, accepteren, beheersen of overdragen – en uitgewerkt in concrete acties om de omvang van de risico’s in lijn te brengen met de risicobereidheid van de organisatie.
6. Beheersingsactiviteiten: beleid en procedures worden opgesteld en geïmplementeerd teneinde de gekozen risicoreactie daadwerkelijk in de organisatie te verankeren.
7. Informatie en communicatie: relevante informatie wordt geïdentificeerd, opgeslagen en gecommuniceerd op en wijze die betrokkenen in staat stelt om hun werkzaamheden uit te voeren.
8. Bewaking: de effectiviteit van enterprise risk management wordt bewaakt en wijzigingen worden aangebracht ter verbetering” (bijvank, 2011).

Dit kader wordt operationeel gemaakt en voorzien van de volgende indicatoren (zie tabel 1):

Tabel 1. Het kader geoperationaliseerd

Vervolgens toetst de rekenkamercommissie in hoeverre in de praktijk wordt voldaan aan de bovenstaande criteria. Het blijkt nu dat risicomanagement de afgelopen vier jaar slechts één keer op de managementteamagenda heeft gestaan. Dit was om de nota risicomanagement vast te stellen. De programma’s worden in de begroting niet SMART geformuleerd, in de zin dat wordt aangegeven welke doelstellingen nu concreet gerealiseerd gaan worden. Ook worden geen exogene factoren geïdentificeerd. In de risicoparagraaf wordt wel gewezen op risico’s, maar in deze paragraaf worden geen beheersmaatregelen geformuleerd. Navraag leert echter wel, dat per afdeling ad-hocbeheersmaatregelen worden getroffen om de meest relevante risico’s af te dekken. Hierover wordt niet gerapporteerd. De controller houdt een en ander echter wel in de gaten. Tijdens zijn wekelijkse gesprekken met de budgethouders doet de controller vaak navraag naar de beheersmaatregelen.
De rekenkamercommissie concludeert daarop dat het risicomanagement van deze gemeente nog in de kinderschoenen staat en aanzienlijke verbetering behoeft. Zij adviseert de raad om zo spoedig mogelijk opdracht te geven aan de slag te gaan met risicomanagement. Hierbij moet in ieder geval aandacht worden besteed aan een frequente agendering van risicomanagement in het MT, het SMART formuleren van de programma’s in de begroting en het benoemen van exogene factoren. Ook behoeft de risicoparagraaf verbetering, terwijl de bestuursrapportages ook in zullen moeten gaan op de aanwezige risico’s.
Beheersmaatregelen zullen jaarlijks moeten worden vastgesteld, terwijl de controller schriftelijk verslag zal moeten doen van de implementatie van deze maatregelen.

Het bovenstaande voorbeeld is illustratief voor onderzoek in de praktijk van het openbaar bestuur. Vanuit een normenkader wordt naar de praktijk gekeken. als deze praktijk niet aan dit kader voldoet, wordt geadviseerd om de blinde vlekken op te vullen.
Het voorbeeld heeft echter nog een staartje. De griffier vertrouwt het onderzoek niet en besluit in het kader van een raadsonderzoek het risicomanagement ook zelf tegen het licht te houden. Hiertoe stelt zij dat risicomanagement gericht moet zijn op het reduceren van risico’s. De hoogte van risico’s is financieel te kwantificeren door een inschatting te maken van de kans en de financiële impact. Door beheersmaatregelen te treffen of monetaire voorzieningen aan te leggen, nemen de risico’s af en deze reductie is dus ook financieel weer te geven. Per afdeling inventariseert zij nu de risico’s en kwantificeert deze risico’s in financiële termen. Daarnaast kijkt zij naar de getroffen beheersmaatregelen en de aangelegde reserves en voorzieningen. op die manier kan niet alleen een inschatting van het risicoprofiel worden gemaakt, maar ook van de risicoreductie. Zij loopt tot slot alle voorgeschreven activiteiten na. De bevindingen van dit tweede onderzoek kunnen worden samengevat als in tabel 2.

Tabel 2. Het onderzoek in tweede instantie

Analyse
De griffier hanteert in het tweede onderzoek hetzelfde normenkader met dezelfde operationele indicatoren. In het tweede onderzoek wordt echter ook naar het effect van het gehanteerde systeem van risicomanagement gekeken. Het effect is in tabel 2 in de rechterkolom weergegeven. Omdat effect een ander concept is dan risicomanagement en de criteria die risicomanagement kent, is het effect ook niet te relateren aan deze criteria. Uiteraard zijn de nodige opmerkingen te maken over de operationalisatie van dit effect. Zo is het de vraag in hoeverre de reductie van risico’s adequaat is uit te drukken in financiële eenheden. aan de andere kant wordt deze methode vaker gehanteerd bij risicoanalyses. Het verschil tussen de eerste en de tweede methode ligt in de conceptualisering. Door ook naar de effecten te kijken van het bestaande systeem van risicomanagement, kunnen de criteria uit het normenkader zelf ter discussie worden gesteld.
Uit het tweede onderzoek blijkt dat lang niet alle criteria even relevant zijn voor een adequate beheersing van risico’s. Zo wordt niet voldaan aan de criteria op het gebied van de omgeving, het formuleren van doelstellingen en het identificeren van gebeurtenissen. Ook voldoet de risicoparagraaf niet aan de gestelde criteria en wordt ook niet in formele zin gerapporteerd over de bestaande risico’s. Toch worden zeer frequent de nodige maatregelen genomen en hebben deze maatregelen wel degelijk het juiste effect.
De griffier komt uiteindelijk op een geheel ander advies dan de rekenkamercommissie. Zij adviseert de gemeente om het huidige stelsel in tact te laten en de rekenkamercommissie om in het vervolg met andere criteria te werken. De conclusie dat lang niet alle stappen uit het COSO-concept relevant en noodzakelijk zijn, wordt overigens ook elders getrokken (Pol en Anderson, 2011).
Een soortgelijke conceptuele beperking wordt wel aangetroffen in onderzoek naar de effectiviteit van beleid. Hierbij wordt vaak het formele beleid als uitgangspunt genomen. De praktijk wordt vervolgens afgezet tegen dit beleid. Als de praktijk afwijkt, wordt doorgaans geadviseerd om de praktijk aan te passen en weer in lijn te brengen met het beleid. Er wordt niet vaak gekeken naar de effectiviteit van de praktijk zelf. Een dergelijke analyse leert echter soms, dat de praktijk effectiever in elkaar steekt dan het vastgestelde beleid en dat dus beter het beleid kan worden aangepast.

Conclusies
Bij het doen van doelmatigheidsonderzoek in de praktijk van het openbaar bestuur worden veronderstellingen gehanteerd die vaak impliciet blijven. Juist omdat deze veronderstellingen niet altijd logisch en valide zijn, is het van belang de gehanteerde veronderstellingen te expliciteren.
Los van de logische houdbaarheid van de veronderstellingen, blijkt bij de conceptualisering van onderzoek vaak dat de onderzoeksopzet enkel een basis biedt voor advisering, maar niet voor onderzoek. Bij het adviseren wordt een kader gehanteerd dat zelf niet meer ter discussie wordt gesteld. De praktijk wordt beoordeeld aan de hand van dit kader en indien de praktijk afwijkt, wordt geadviseerd te praktijk weer conform het kader in te richten.

Onderzoek doen, houdt eerst en vooral in, dat de mogelijkheid wordt geboden het tegendeel van een gehanteerde veronderstelling aan te tonen. Het normenkader zelf zal dus ter discussie moeten worden gesteld en de basis hiervoor wordt in de conceptualisering van het onderzoek gelegd of juist ontnomen. Een verkeerde conceptualisering leidt in essentie enkel tot bevestiging, een juiste conceptualisering kan tot bevestiging, maar ook tot aanpassing van de criteria leiden.
De gevolgen hiervan kunnen zeer groot zijn. Waar een matige conceptualisering leidt tot het advies om de praktijk aan te passen en in lijn te brengen met de normen, leidt een gedegen conceptualisering juist tot aanpassing van de normen en continuering van de praktijk. Het behoeft geen betoog dat dit tot zeer strijdige aanbevelingen kan leiden, zeker als het formele beleid zelf als normenkader wordt gehanteerd. Onderzoek begint echter bij het helder maken van de gehanteerde veronderstellingen, ook al lijken die nog zo evident. Het is opvallend hoe vaak deze veronderstellingen niet blijken te kloppen als ze getoetst worden in de praktijk van het openbaar bestuur.

Rick Anderson is lector Public Controlling bij Hogeschool Inholland.

Literatuur

• Bijvank Advies, Coso Enterprise Risk Management, 2011 (website).
• Pol, S., Anderson, R.J., Beheersmaatregelen bij GSB-projecten, Tijdschrift voor Public Controlling, april 2011, pp. 20-24.