Kwaliteitsborging van derdeninformatie

Wij constateren dat in regelgeving en praktijk de aandacht voor het zorgen voor met name betrouwbare derdinformatie tot op heden binnen alle overheidsgeledingen onderbelicht is gebleven. In dit artikel geven wij daarom uitwerking aan een risicobenadering om de betrouwbaarheid van derdeninformatie te borgen. Deze benadering is gebaseerd op een typologie van derdeninformatie die in paragraaf 3 wordt geschetst. In paragraaf 4 leggen wij de relatie tussen de typologie en de inzet van maatregelen ter borging van de betrouwbaarheid. In paragraaf 5 illustreren wij het theoretische kader met enkele goede en slechte voorbeelden uit de praktijk. Maar eerst geven we in paragraaf 2 aan waarom het waarborgen van de kwaliteit van beleidsinformatie, met de nadruk op derdeninformatie, van groot belang is.

Belang van (borging van) derdeninformatie
Goede beleidsinformatie is onmisbaar om inzicht te krijgen in wat de betreffende overheidsorganisatie met haar beleid heeft bereikt, wat zij daarvoor heeft gedaan en wat dat heeft gekost. Niet alleen publieke verantwoording staat of valt met de kwaliteit van de gebruikte informatie. Ook om interne maatregelen te nemen en beleid adequaat en tijdig te kunnen bijsturen moet er informatie van goede kwaliteit zijn.

Het aandeel van derdeninformatie in het geheel aan beleidsinformatie is groot. Uit een recent onderzoek van de Algemene Rekenkamer blijkt ongeveer driekwart van de onderzochte beleidsinformatie afkomstig te zijn van derden.² Gezien de omvang van derdeninformatie waar een gemiddelde overheidsinstelling gebruik van maakt en gezien het belang van die informatie – bijsturen van en verantwoorden over beleid –, is de borging van de betrouwbaarheid van derdeninformatie derhalve een belangrijke schakel in de gehele keten van kwaliteitsborging van het beleidsproces. De borging van derdeninformatie heeft echter nog nauwelijks aandacht gekregen in de wettelijke kaders voor de kwaliteit van de niet-financiële beleidsinformatie. Bij decentrale overheden is momenteel nog helemaal geen sprake van een formeel kader voor de kwaliteit van de niet-financiële gegevens in de programmaverantwoording. Dus ontbreekt ook aandacht voor de betrouwbaarheid van derdeninformatie. Bij de rijksoverheid is de ministeriële Regeling Prestatiegegevens en Evaluatieonderzoek Rijksoverheid (RPE) het kader voor de waarborging van de kwaliteit van de niet-financiële beleidsinformatie. In deze regeling wordt echter geen expliciete aandacht gegeven aan derdeninformatie. Het begrip komt zelfs helemaal niet in de RPE voor!
In een brief die de Minister van Financiën in de zomer van 2003 aan de Tweede Kamer stuurde wordt gesteld dat het voor derdeninformatie volstaat om de bron van deze informatie in het jaarverslag van het ministerie te vermelden.³ Volgens ons kan dat bezwaarlijk de enige kwaliteitsborging zijn. Dan wordt immers aan de lezer – in casu de Tweede Kamer en de belastingbetaler – overgelaten om zelf te bedenken of de betreffende informatie, gezien de bron van herkomst, wel zal kloppen.
Ook in de praktijk blijkt dat deze borging lang niet altijd voldoende aandacht krijgt. Zo blijkt uit recent onderzoek van de Algemene Rekenkamer dat voor ruim een kwart van de onderzochte derdeninformatie in dat onderzoek geen waarborgen zijn getroffen om de kwaliteit daarvan veilig te stellen.⁴

Derdeninformatie: een typologie
Derdeninformatie kan afkomstig zijn uit zeer diverse bronnen. Figuur 1 toont vanuit het perspectief van een ministerie hoe breed geschakeerd de herkomst van derdeninformatie kan zijn. Ook decentrale overheden hebben te maken met diverse bronnen van derdeninformatie. Een gemeente zal behoefte hebben aan broninformatie die afkomstig is van de gemeentelijke cultuurinstellingen om de effectiviteit van haar cultuurbeleid te kunnen bepalen. Voor het veiligheidsbeleid is informatie van de politie onontbeerlijk. Voor beleid om het voortijdig schoolverlaten te reduceren zal zij zich moeten beroepen op informatie van onderwijsinstellingen.

Figuur 1. Variatie in derdeninformatie (Klik op figuur voor vergroting)

Wij zijn van mening dat overheden, indien zij gebruikmaken van de informatie van derden voor begrotings-, verantwoordings- en/of sturingsdoeleinden, de betrouwbaarheid van de informatie, onafhankelijk van de herkomst, op een of andere manier moeten waarborgen. Gezien de omvang van die informatiestroom en de veelheid van bronnen is dat geen sinecure. In die veelheid van bronnen kan echter wel structuur worden aangebracht door ze te groeperen naar de mate van het betrouwbaarheidsrisico dat is verbonden aan die derdeninformatie. Op basis van dit criterium onderscheiden wij vier categorieën met een verschillend risicoprofiel:

• instellingen met een wettelijke taak tot informatievoorziening;
• instellingen die in een verantwoordingsrelatie staan tot de gebruiker van de informatie;
• overige instellingen met een belang bij de inhoud van de informatie;
• overige instellingen zonder belang bij de inhoud van de informatie.

Wettelijke taak tot informatievoorziening
Een eerste categorie betreft ‘informatie van leveranciers die als wettelijke taak informatievoorziening hebben’. Deze informatieleveranciers hebben een in de wet vastgelegde taak om informatie te verzamelen, te verwerken en te presenteren. Voorbeelden van dergelijke instellingen zijn het CBS, het RIVM, het CPB en het SCP. Het risico voor de kwaliteit van derdeninformatie die afkomstig is van deze categorie informatieleveranciers én direct onderdeel uitmaakt van die wettelijke taak, kan als laag worden ingeschat, ervan uitgaande dat in de wet reeds bepalingen zijn opgenomen die de kwaliteit van de gegevens van deze instellingen moeten waarborgen.⁵

Verantwoordingsrelatie
Een tweede categorie betreft informatieleveranciers die zich met de geleverde informatie verantwoorden over de door hen bestede overheidsgelden. Voorbeelden van dergelijke informatieleveranciers zijn uitvoeringsinstellingen, lagere overheden (specifieke uitkeringen) en subsidieontvangers. Het risico van gegevens die afkomstig zijn van deze categorie van informatieleveranciers wordt door ons ‘hoog’ ingeschat, omdat deze instellingen belang hebben bij de verstrekte informatie.

Overige leveranciers: belanghebbend
De overige informatieleveranciers kunnen worden onderscheiden in informatieleveranciers met en zonder belang bij de inhoud van informatie. Het belang van belanghebbende informatieleveranciers kan zijn gebaseerd op inhoudelijke en/of financiële gronden. Een inhoudelijk belang kan bestaan indien de informatie van invloed is op de maatschappelijke perceptie van de instelling (bijvoorbeeld passagiersaantallen Schiphol). Bij een financieel belang kan bijvoorbeeld worden gedacht aan een commercieel onderzoeksbureau waarbij mogelijk verband bestaat tussen de geleverde informatie en eventuele vervolgopdrachten. Wij schatten het risico van gegevens die afkomstig zijn van deze categorie van informatieleveranciers op ‘middelhoog’.

Overige informatieleveranciers: niet belanghebbend
Tot de vierde categorie behoren informatieleveranciers die de informatie op eigen initiatief hebben verzameld en geen belang hebben bij het gebruik van de informatie door de overheid. Voorbeelden van derdeninformatie die afkomstig is uit deze categorie betreft sommige wetenschappelijke publicaties van universiteiten en monitorinformatie van supranationale overheden. Er kan geen eensluidende inschatting worden gegeven van de risico’s die verbonden zijn aan gegevens afkomstig van deze categorie informatieleveranciers, omdat de kwaliteit van de informatie van leverancier tot leverancier en van product tot product kan verschillen. Het inzicht in de risico’s zal per informatiestroom afzonderlijk moeten worden bepaald. Het risico van gegevens die afkomstig zijn van deze categorie van informatieleveranciers schatten wij in op ‘middellaag’.

Maatregelen ter borging van de betrouwbaarheid
Indien de overheid gebruikmaakt van bepaalde derdeninformatie dient zij idealiter inzicht te hebben in de betrouwbaarheid van de gebruikte informatie. In veel gevallen beschikt de overheid echter niet over voldoende bevoegdheden bij de informatieleverancier om de betrouwbaarheid te garanderen door zelf maatregelen te nemen in de totstandkoming van de informatie bij die leverancier. Op grond van kostenafweging is het ook niet wenselijk dat de overheid zelf de betrouwbaarheid van alle derdeninformatie aan toetsing onderwerpt. Bovendien is de overheid ook vaak niet in staat om de betrouwbaarheid van de ontvangen informatie vast te stellen. Immers om de betrouwbaarheid te kunnen vaststellen zal op zijn minst ook in de totstandkomingsdossiers bij de leverancier gekeken moeten worden. Ook hier speelt weer de afwezigheid van bevoegdheden over de instelling die de gegevens verzamelt.

Toch denken wij dat overheden wel wat kunnen doen om de kwaliteit van derdeninformatie te waarborgen. Soms kan de overheid de verkregen informatie wel toetsen door zelf eigen onderzoek doen. Voorbeelden van dergelijk eigen onderzoek zijn trendanalyses, waarschijnlijkheidstoetsen door vergelijking met ander onderzoek en gegevensverificatie door bijvoorbeeld vergelijking met openbare bronnen. Indien de overheidsorganisatie optreedt als opdrachtgever heeft zij de beschikking over een ruimere set aan mogelijke maatregelen. Wij noemen de volgende voorbeelden:

• Het stellen van professionaliteitseisen aan de uitvoerder van het onderzoek;
• Het instellen van een begeleidingscommissie of een klankbordgroep;
• Het maken van afspraken met de uitvoerder van onderzoek over te hanteren definities, de betrouwbaarheid, validiteit en actualiteit;
• Het eisen van een accountantsverklaringen bij de geleverde informatie;
• Het stellen van administratieve eisen, zoals de aanwezigheid van een administratieve organisatie/kwaliteitshandboeken, aan de informatieleverancier;
• Het uitvoeren van een toets op de onderzoeksmethode van de opdrachtnemer;
• Het opnemen in het contract dat een externe audit op de onderzoeksdossiers kan worden uitgevoerd.

In overeenstemming met de lessen uit de administratieve organisatieleer dient de inzet van maatregelen in balans te zijn met het gepercipieerde risico voor de betrouwbaarheid. Op dit punt kan een relatie worden gelegd met de typologie van derdeninformatie uit de vorige paragraaf. Indien de derdeninformatie afkomstig is van een instelling die de informatie op grond van een wettelijke taak heeft verzameld, lijkt er geen noodzaak dat de overheidsorganisatie nog substantiële maatregelen neemt om de betrouwbaarheid van de gegevens te waarborgen. Van een overheidsinstelling mag wel worden verwacht dat zij substantiële maatregelen neemt indien zij gebruikmaakt van informatie van instellingen die in een verantwoordingsrelatie tot haar staat. Ook bij informatie afkomstig van de overige belanghebbende instellingen mogen enige aanvullende maatregelen om de betrouwbaarheid van de informatie te waarborgen worden verwacht.

De relatie tussen de typologie en de inzet van maatregelen is schematisch weergegeven in figuur 2.

Figuur 2. Typologie van derdeninformatie (Klik op afbeelding voor vergroting)

Voorbeelden uit de praktijk
Om te illustreren wat we ons in de praktijk voorstellen bij het waarborgen van de kwaliteit van derdeninformatie is hieronder een aantal voorbeelden opgenomen. Het eerste tweetal voorbeelden laat zien hoe derdenininformatie goed wordt gewaarborgd. Het daaropvolgende kwartet voorbeelden beschrijft verschillende soorten derdeninformatie waarvoor de ontvangende overheid volgens ons onvoldoende waarborgen heeft getroffen.⁶

Voorbeelden voldoende afdekking kwaliteitsrisico

Aantal passagiers luchthavens
Het ministerie van Verkeer en Waterstaat (V en W) neemt in haar jaarverslag het aantal passagiers op van Schiphol in vergelijking tot die van vier andere luchthavens in Europa: Frankfurt, Londen-Heathrow, Parijs-Charles de Gaulle en Brussel. Het ministerie neemt deze gegevens letterlijk over uit statistieken die Schiphol jaarlijks publiceert. Het betreft hier, ons inziens, een gegeven afkomstig van een belanghebbende informatieleverancier. Hieraan koppelen wij op basis van onze risicotypologie een middelhoog risico voor de betrouwbaarheid. Op grond van de inschatting van het risico heeft het ministerie echter geen aanvullende waarborgen getroffen. Zij meent namelijk dat er reeds voldoende waarborgen in het proces van totstandkoming van het gegeven aanwezig zijn. Immers, passagiersaantallen worden door de luchthavens gebruikt als grondslag voor het in rekening brengen van tarieven aan luchtvaartmaatschappijen en zijn als zodanig ook aan accountantscontrole onderhevig. Dat geldt voor de gegevens van Schiphol, maar ook voor de gegevens van de andere luchthavens.

Visvangst en mineraalverbruik
Het ministerie van Landbouw, Natuur en Voedselkwaliteit (LNV) ontvangt gegevens over visvangst van visserijbedrijven en over de hoeveelheid mineralen die een landbouwbedrijf netto verbruikt van landbouwbedrijven. Het betreft hier gegevens afkomstig van informatieleveranciers die in een verantwoordingsrelatie staan tot het departement. Hieraan is door ons een hoog risico voor de kwaliteit gekoppeld. Het ministerie van LNV heeft zich dit risico gerealiseerd en poogt de kwaliteit te waarborgen door zélf ook metingen uit te voeren (bij ‘schelpdiervlees in kustwateren’ en ‘stabiele mosselbanken’). Verder maakt zij jaarlijks met de Algemene Inspectiedienst werkafspraken over te verrichten controles op de door vissers opgegeven visvangsten in de havens. De opgave van de hoeveelheid mineralen door landbouwbedrijven wordt door het Bureau Heffingen op basis van administratieve gegevens gecontroleerd.

Voorbeelden onvoldoende afdekking kwaliteitsrisico

Huishoudelijk afval
In het kader van de monitoring van de prestaties van het afvalstoffenbeleid ontvangt het ministerie van Volkshuisvesting, Ruimtelijke Ordening en Milieu (VROM) van het Afval Overleg Orgaan (AOO) cijfers over onder meer de gescheiden inzameling van huishoudelijke afvalstoffen. De basisgegevens over (huishoudelijk) afval worden in sommige gevallen rechtstreeks geleverd door afvalverwerkende bedrijven of brancheverenigingen zonder validatie van deze cijfers door (onafhankelijke) externen. Deze gegevens zijn hier derhalve afkomstig van belanghebbende informatieleveranciers. Hieraan is een middelhoog risico gekoppeld. Aanvullende maatregelen lijken nodig om de kwaliteit van deze gegevens te waarborgen. De betreffende beleidsdirectie van het ministerie van VROM heeft geen extra waarborgen getroffen om deze risico’s af te dekken, zoals bijvoorbeeld validatie door onafhankelijke externen.

Dienstverlening aan werkzoekenden
Het ministerie van Sociale Zaken en Werkgelegenheid (SZW) krijgt van de Centra voor Werk en Inkomen (CWI) gegevens over de dienstverlening aan werkzoekenden, zoals het plaatsingspercentage – na actieve bemiddeling – naar werk, het aandeel etnische minderheden in het totaal aantal ingeschre- ven niet-werkende cliënten en het aandeel van etnische minderheden in het aantal plaatsingen binnen zes maanden. Het betreft indicatoren waarover tussen het ministerie en het CWI prestatieafspraken zijn gemaakt. Het betreft derhalve informatie op grond van een verantwoordingsrelatie met het ministerie. Aan deze informatie is door ons een hoog risicoprofiel gekoppeld, vanwege het belang van de betrouwbaarheid ervan. Aanvullende maatregelen lijken nodig om de kwaliteit van de geleverde/ te ontvangen gegevens te waarborgen. De betrokken beleidsdirectie beoordeelt de van het CWI ontvangen informatie echter niet op betrouwbaarheid. Zij geeft hiervoor als reden dat zij afgaat op de signalen die ze ontvangt van de externe accountant van het CWI en van de toezichthouder Inspectie Werk en Inkomen (IWI). De externe accountant onderzoekt echter alleen de ordelijke en controleerbare totstandkoming van de informatie onderzoekt en niet de betrouwbaarheid ervan. Bovendien is door zowel de accountant van het CWI als het IWI opgemerkt dat de betreffende informatie afkomstig is uit een onbetrouwbaar systeem. In dit geval had het meerwaarde gehad als de Minister van SZW in het jaarverslag bij de gegevens zou hebben gemeld dat er onzekerheid bestaat over de kwaliteit ervan.

Aantal jeugdleden met sportsubsidie
De gemeente Rotterdam verstrekt sportverenigingen subsidie per jeugdlid dat is verbonden aan de vereniging. Het aantal jeugdleden waarvoor subsidie wordt aangevraagd wordt als prestatiegegeven gebruikt om het succes van het beleid weer te geven. De informatie over het aantal jeugdleden met subsidie is afkomstig van de Stichting Rotterdam Sportstimulering die de subsidieregeling uitvoert voor de gemeente. Het betreft derhalve gegevens van een instelling die in een verantwoordingsrelatie tot de gemeente Rotterdam staat. Dat impliceert een risicoprofiel ‘hoog’, zodat de gemeente relatief veel waarborgen moet treffen voor de kwaliteit van de informatie. De gemeente Rotterdam heeft het risico voor de betrouwbaarheid afgedekt door een accountantsverklaring. De accountantsverklaring dekt echter alleen de getrouwheid van de jaarrekening van de stichting als geheel. Aan de accountant is geen specifieke opdracht gegeven om de betrouwbaarheid van het aantal jeugdleden in haar oordeel te betrekken.

Aantal voortijdig schoolverlaters
De gemeente Rotterdam presenteert het aantal voortijdig schoolverlaters die woonachtig zijn in haar gemeente. Deze gegevens blijken uit een geautomatiseerd leerlingvolgsysteem van de gemeente. De gemeente erkent dat het systeem niet betrouwbaar zijn, omdat het systeem niet de juiste gegevens bevat van de zogenaamde ‘nieuwe vestigers’. Dit zijn jongeren die zich op een latere leeftijd in Rotterdam hebben gevestigd en niet zijn ingeschreven aan een Rotterdamse onderwijsinstelling. Op het verzoek aan betreffende jongeren om hun opleidingsachtergrond aan de gemeente Rotterdam door te geven bestaat een hoge mate van non-respons. Om toch een totaalbeeld van het aantal voortijdig schoolverlaters te kunnen geven heeft de gemeente Rotterdam een non-response onderzoek laten uitvoeren door een extern bureau. Uit dit onderzoek blijkt welk deel van de nieuwe vestigers wel en welk deel niet tot de populatie van voortijdig schoolverlaters moet worden gerekend. Het betreft hier derdeninformatie van een belanghebbende instelling met risicoprofiel ‘middelhoog’. Immers, het betreffende externe bureau heeft belang bij continuering van de relatie met de gemeente Rotterdam. De gemeente zou derhalve aanvullende waarborgen moeten treffen om de betrouwbaarheid van de derdeninformatie te kunnen waarborgen. Zij zou, bijvoorbeeld, de beschikking moeten krijgen over de onderzoeksdossiers, zodat gegevensverificatie mogelijk wordt.

Conclusie
De toepassing van beleidsinformatie over maatschappelijke uitkomsten in de sturing en beheersing van de overheidsorganisaties is vergroot als gevolg van de operaties VBTB en dualisering decentrale overheden. Controllers in overheidsorganisaties moeten in samenwerking met de direct betrokken beleidsmedewerkers toezien op de betrouwbaarheid van deze niet-financiële beleidsinformatie. Bijzondere aandacht moeten zij hierbij geven aan de betrouwbaarheid van derdeninformatie. Immers een groot deel van de beleidsinformatie over maatschappelijke uitkomsten zijn afkomstig van organisaties waarover de gebruikende overheidsorganisatie geen bevoegdheden heeft. Controllers moeten zichzelf een beeld vormen van de risico’s voor de betrouwbaarheid van de door hun gebruikte derdeninformatie. Afhankelijk van de gepercipieerde risico’s dienen zij adequate maatregelen te nemen. In deze bijdrage hebben wij een kader voor de analyse van risico’s van derdeninformatie aangereikt dat de controller hierbij behulpzaam kan zijn.

Drs. F.J. Israël en dr. F.Pot zijn respectievelijk als projectleider en senior onderzoeker werkzaam bij de Algemene Rekenkamer. Dit artikel is op persoonlijke titel geschreven.

Noten
¹ VBTB staat voor de operatie ‘Van Beleidsbegroting tot BeleidsVerantwoording’.
² Staat van de beleidsinformatie 2004. Tweede Kamer, vergaderjaar 2003- 2004, 29 550, nr. 1-2.
³ Tweede Kamer, vergaderjaar 2002–2003, 27 849 en 28 035, nr. 25.
⁴ Tweede Kamer, vergaderjaar 2003-2004, 29 550, nr. 1-2., p. 35.
⁵ Overigens voeren de betreffende informatieleveranciers ook activiteiten uit buiten hun wettelijke informatieleveringstaak. Dergelijke activiteiten worden in opdracht uitgevoerd. In dergelijke gevallen is sprake van activiteiten met een gelijk risicoprofiel als de categorie ‘belanghebbende instellingen’ (zie hierna).
⁶ De voorbeelden van de ministeries zijn ontleend aan Staat van de beleidsinformatie 2004, Algemene Rekenkamer (Tweede Kamer, vergaderjaar 2003-2005, 29 550, nrs. 1-2). De voorbeelden van de gemeente Rotterdam zijn gebaseerd op het onderzoek ‘Meetbare doelen II’ dat in juni 2004 is gepubliceerd door de Rekenkamer Rotterdam.