Beleidsdoorlichtingen en doelmatigheidsonderzoek onder de loep

Gebruikmakend van een recentelijk uitgevoerde tussenevaluatie en een peer-review geeft dit artikel een antwoord op de vraag hoe het gesteld is met onderzoek met een synthesekarakter. Daarbij wordt specifiek ingegaan op de selectie van onderwerpen, de benutting van bestaande informatie, het streven naar betrouwbaarheid en de wijze van rapporteren aan de Tweede Kamer. Het artikel besluit met enkele algemene conclusies.

Beleidsevaluatie bij de rijksoverheid
Het beleid van de Nederlandse rijksoverheid wordt periodiek geëvalueerd. Voor beleid dat met doelstellingen in de rijksbegroting is opgenomen, gebeurt dat in een beleidsdoorlichting. De ministeries voeren de beleidsdoorlichtingen zelf uit. Het ministerie van Financiën is verantwoordelijk voor de coördinatie. De uitkomsten van eerder uitgevoerde evaluaties – bijvoorbeeld van afzonderlijke regelingen of instrumenten – worden in een beleidsdoorlichting meegenomen. Een beleidsdoorlichting is zo een ‘synthese-onderzoek’ (Ministerie van Financiën, 2006). Bij de Algemene Rekenkamer worden alle onderzoeken gemeld, zodat ook het doelmatigheidsonderzoek dat daar plaatsvindt kan voortbouwen op eerder uitgevoerde evaluaties.

Beleidsevaluatie is normatief. Het behelst letterlijk het waarderen van beleid: “The term evaluation is synonymous with appraisal, rating, and assessment, words which imply efforts to analyze policy outcomes in terms of some set of values” (Dunn, 1994: 404). Het waarderen van beleid met beleidsevaluaties speelt een belangrijke rol in het afleggen van verantwoording. Daarnaast is beleidsevaluatie een instrument waarmee overheden kunnen leren om hun beleid te verbeteren. Op basis van de uitkomsten ervan kunnen correcties worden aangebracht waardoor beleid doelmatiger en doeltreffender kan worden uitgevoerd. Daarnaast kunnen ook de doelstellingen van beleid en de veronderstellingen waar beleid op stoelt op basis van een evaluatie worden herzien (zie ook Van der Knaap, 2006).

In een democratie is er – gelukkig – geen een-op-een verband tussen de uitkomsten van onderzoek en beleidswijzigingen. De benutting van evaluatierapporten verloopt soms grillig en hangt mede af van de mate waarin zij onderdeel worden van een ‘beleidsgericht debat’. Zonder argumentatie tussen beleidsbepalende actoren wordt er zelfs van het beste feedbackmechanisme niet geleerd (Hoppe, 2008). Daarbij geldt dat beleidsevaluaties geen monopolie hebben op ‘werkelijkheid’ of ‘waarheid’: ambtenaren en bestuurders staan dagelijks bloot aan vele claims daarop. Zeker in deze tijd, waarin meer geschreven dan gelezen lijkt te worden, moet een onderzoeker zich daar goed van bewust zijn.1

Kennis wordt op veel manieren in beleid verwerkt (Michels, 2008). De kwaliteit van beleidsevaluaties is van belang voor zowel de instrumentele als de meer argumentatieve benutting ervan.
Onderzoekers kunnen de kans op benutting en doorwerking vergroten door:

1. relevante onderwerpen te selecteren en te zorgen voor een goede benutting van reeds beschikbare beleidsevaluaties,
2. te streven naar betrouwbare onderzoeksresultaten, en
3. toegankelijk te rapporteren (vergelijk Schwartz en Mayne, 2005).

Van deze facetten is met name de eerste relevant voor onderzoek met een synthesekarakter. De vraag is nu: hoe is het op deze punten eigenlijk gesteld met de beleidsdoorlichtingen van de departementen en de doelmatigheidsonderzoeken van de Algemene Rekenkamer? Een recent uitgevoerde tussenevaluatie en internationale peer-review bieden de antwoorden.

Tussenevaluatie departementale beleidsdoorlichtingen
De beleidsdoorlichtingen werden door het ministerie van Financiën ingevoerd in 2006. Sindsdien zijn er enkele tientallen uitgevoerd, zoals Diversiteitbeleid bij het Rijk, Energiemarkt, Handelspolitiek, Slachtofferzorg, Re-integratiebeleid, Benutting binnenvaart en vaarwegen, Nota Ruimte. Niet lang na de invoering bestaat er bij de Tweede Kamer twijfel over betrouwbaarheid en diepgang van de beleidsdoorlichtingen. De Kamer vraagt de minister van Financiën om de gesignaleerde risico’s weg te nemen. In 2008 wordt als gevolg hiervan een tussenevaluatie uitgevoerd.2
Er worden 23 beleidsdoorlichtingen geanalyseerd en gesprekken gevoerd met een relevante belanghebbenden.

Selectie van onderwerpen en benutting van beschikbare evaluaties
Criteria die worden gebruikt bij het opstellen van deze programmering zijn (1) de aansluiting op de beleidscyclus, (2) de ervaren behoefte aan een beleidsimpuls of verandering, (3) de beschikbaarheid van gegevens en (4) de beschikbare evaluatiecapaciteit. Ook wordt rekening gehouden met de politieke gevoeligheid van een onderwerp (Von Meyenfeldt et al., 2008). Beleidsdoorlichtingen hebben zoals gezegd het karakter van een syntheseonderzoek: wanneer data, prestatiegegevens, inzicht in doelbereiking of effecten of de werking van instrumenten ontbreken, kan ervoor worden gekozen deze ontbrekende schakel eerst te ‘repareren’ voordat een beleidsdoorlichting wordt gestart.
Uit de tussenevaluatie blijkt dat er nog te vaak sprake is van een stapeling van evaluaties, beleidsonderzoeken, doorlichtingen en andere instrumenten. De wijze van selectie en onderzoek leidt niet tot voldoende synergie: slechts in een aantal gevallen leidt een doorlichting tot nieuwe of aanvullende inzichten (Von Meyenfeldt, 2008). Een beleidsdoorlichting leidt doorgaans evenmin tot een afname van het aantal afzonderlijke evaluaties of gebruikte prestatie-indicatoren. En dat was wel de bedoeling. De conclusie van de minister van Financiën is dan ook dat er een integrale evaluatieplanning nodig is, waarbij de doorlichtingen als ‘kompas’ voor de overige evaluaties moeten gaan fungeren (Financiën, 2008). Daarbij zal ook geprobeerd worden om de programmering meer vraaggericht te maken, zodat hij beter aansluit op de behoeften van de Kamer (ibid.).

Streven naar kwaliteit
In de regelgeving, de Regeling periodiek evaluatieonderzoek en beleidsinformatie 2006 (RPE), zijn geen inhoudelijke kwaliteitseisen opgenomen. Volgens Financiën is het niet mogelijk om bij beleidsinformatie een volledige mate van exactheid en eenduidigheid te verkrijgen: ook al wordt het onderzoek volgens algemeen aanvaarde methoden en technieken uitgevoerd, er kunnen altijd uiteenlopende uitkomsten zijn (Ministerie van Financiën, 2006). Aan de hand van het voorbeeld van klassenverkleining en het EMU-saldo wordt gesteld dat er dan ook geen uitspraken over juistheid en volledigheid mogelijk zijn (ibid.). Wel is in de regeling opgenomen dat (1) beleidsinformatie binnen het departement op een ordelijke, controleerbare en deugdelijke wijze tot stand moet zijn gekomen, dat (2) de beleidsinformatie niet strijdig mag zijn met financiële informatie in de begroting of het jaarverslag en dat (3) duidelijk de informatiebron moet worden aangegeven.3

Een centraal element in de RPE is dat bij de uitvoering van beleidsonderzoek ‘onafhankelijken’ moeten worden betrokken: deskundigen die geen verantwoordelijkheid dragen voor het te onderzoeken beleid en waarvan een onafhankelijk oordeel mag worden verwacht. Voorkomen moet worden dat de ‘slager zijn eigen vlees keurt’.

Op basis van de tussenevaluatie wordt geconcludeerd dat het instrument beleidsdoorlichting nog niet heeft geleid tot substantiële verbetering van de kwaliteit (Financiën, 2008). De doorlichtingen slagen er onvoldoende in om inzicht te geven in de effectiviteit van het beleid (Von Meyenfeldt, 2008). Ook een duiding van de relatie tussen beleid en effect en een beschrijving van de beleidstheorie ontbreken vaak (ibid.). Hoewel er meer dan vroeger onafhankelijken bij de doorlichtingen worden betrokken, is hun rol volgens de onderzoekers onduidelijk: “Onafhankelijken zien zichzelf gegeven hun partiële en onheldere rol niet verantwoordelijk voor de kwaliteit van de doorlichting” (Von Meyenfeldt, 2008). Dit zou verbeterd kunnen worden door hen er vanaf het begin van een doorlichting actief bij te betrekken, een aanbeveling die wordt overgenomen.

Het is volgens de onderzoekers van belang dat de Kamer een helder beeld krijgt van de rol die onafhankelijken hebben gespeeld bij de totstandkoming van het rapport en dat het commentaar van onafhankelijken in het rapport wordt opgenomen. Financiën zegt dit in haar reactie toe en scherpt ook de selectie van onafhankelijke deskundigen aan: dit kunnen alleen deskundigen zijn van buiten de rijksdienst “almede de planbureaus en onafhankelijke instituten zoals WODC en IOB” (Financiën, 2008). Andere verbetermaatregelen zijn dat de doorlichtingsvragen voortaan duidelijker zullen worden toegelicht en dat er een verplichte beschrijving van de beleidstheorie komt. Ook zal er meer helderheid worden gegeven over de wijze waarop effecten van beleid vastgesteld kunnen worden. Het wordt aan de departementen overgelaten om heldere afspraken te maken over de taakopdracht van de onafhankelijke experts.

Wijze van rapporteren
Er zijn niet veel voorschriften over de manier waarop de uitkomsten van een beleidsdoorlichting moeten worden gerapporteerd. Wel is bepaald dat de beleidsdoorlichtingen worden voorzien van een reactie van de verantwoordelijke minister, waarin ook beleidsconclusies worden aangegeven. Het idee is dat dit de bruikbaarheid van de beleidsdoorlichtingen vergroot en dat de lessen uit een doorlichting een grotere rol zullen spelen in het debat tussen vakminister en Kamer.

In de tussenevaluatie wordt aangegeven dat een aantal punten in zowel proces als rapportage verduidelijkt kan worden. Naast de hierboven beschreven rol van onafhankelijken en het publiceren van hun kwaliteitsbeoordeling, gaat het daarbij onder meer om een heldere doelstelling en duidelijker definities. Financiën heeft ook deze aanbevelingen overgenomen.

Peer-review doelmatigheidsonderzoek Algemene Rekenkamer
Artikel 85 van de Comptabiliteitswet geeft de Algemene Rekenkamer de bevoegdheid om de doeltreffendheid en doelmatigheid van het gevoerde beleid te onderzoeken. De afgelopen jaren zijn bijvoorbeeld rapporten uitgebracht over de ecologische hoofdstructuur, zorg voor chronisch zieken, intensieve veehouderij en de herstructurering van bedrijventerreinen (zie www.rekenkamer.nl voor een actueel overzicht).

Onderdeel van de internationale samenwerking tussen rekenkamers is het uitvoeren van peer-reviews naar de kwaliteit van elkaars werk. In 2007 zijn onderzoekers van rekenkamers uit het Verenigd Koninkrijk, Nieuw-Zeeland, Zuid-Afrika en Noorwegen nagegaan of de kwaliteit van het doelmatigheidsonderzoek van de Algemene Rekenkamer voldoende is. Het peer-review team heeft zes doelmatigheidonderzoeken en twee effectmetingen geanalyseerd. Ook zijn de procedures van de Algemene Rekenkamer bekeken op inhoud en naleving.

Selectie van onderwerpen en benutting van beschikbare evaluaties
De meerwaarde ten opzichte van wat al bekend is en wat anderenaan onderzoek verrichten; dat is het eerste criterium bij het selecteren van onderwerpen voor doelmatigheidsonderzoek. Ook bekijkt de Rekenkamer of een minister voldoende goede informatie heeft om de realisatie van het beleid te kunnen volgen. De inhoudelijke domeinen uit de Rekenkamerstrategie 2004-2009 (veiligheid, duurzaamheid, publieke voorzieningen) vormen een tweede toetssteen. Ook moet rekening worden gehouden met de uitkomsten van Rekenkameronderzoek naar de bedrijfsvoering van departementen, met de complexiteit van beleidsketens en met het financiële belang (Algemene Rekenkamer, 2004).4

Uit de peer-review komt naar voren dat de selectie van onderwerpen vooral samenhangt met de strategie 2004-2009. De meerwaarde ten opzichte van eerder onderzoek en het financiële belang maken beide voldoende deel uit van de risicobenadering die de Rekenkamer volgt bij het programmeren van onderzoek. Wel valt het het peer-review-team op dat drie van de bestudeerde onderzoeken een ruime opzet kenden: door de vraagstelling preciezer te maken en nauwer aan te sluiten op bestaande informatie, is het mogelijk gerichter onderzoek te doen. De Rekenkamer neemt deze aanbeveling over. Om de beschikbare informatie over de doelmatigheid van beleid beter bij onderzoeksselectie en design te betrekken, wordt bijvoorbeeld gewerkt aan een rijksbreed overzicht van beschikbare doelmatigheidsinformatie.

Streven naar kwaliteit
De kwaliteitseisen die de Rekenkamer hanteert bij haar onderzoek zijn gestoeld op internationale normen en richtlijnen (zie www.intosai.org; vergelijk Algemene Rekenkamer, 2006). Als criteria gelden validiteit en betrouwbaarheid, consistentie, toegankelijkheid en objectiviteit. Wanneer de eerste onderzoeksfase – de feitelijke verzameling van informatie – is afgerond, worden de uitkomsten opgenomen in een nota van bevindingen. Deze wordt ter verificatie voorgelegd aan de onderzochte partijen. Vervolgens worden op basis van deze bevindingen conclusies en aanbevelingen opgesteld. Deze worden voor bestuurlijk ‘hoor en wederhoor’ voorgelegd aan de betrokken ministers.

Het peer-review-team trekt de conclusie dat de rapporten voldoen aan de eisen van goed doelmatigheidsonderzoek en dat de Tweede Kamer wordt voorzien van objectieve en betrouwbare informatie over het presteren van het openbaar bestuur (Østtveiten, 2007: 5). Wel zou het opnemen van een methodologische verantwoording de inzichtelijkheid in die kwaliteit kunnen vergroten. Deze aanbeveling wordt overgenomen: alle onderzoeksrapporten sinds de peer-review kennen een bijlage met een beschrijving van de gehanteerde methoden en technieken.

De reviewers stellen verder dat de mate waarin zekerheid wordt verkregen over de uitvoering van de voorgeschreven kwaliteitscontroles per project kan verschillen. Deze kritiek heeft geleid tot een duidelijker aanpak op het vlak van kwaliteitszorg en kwaliteitsborging. Per stap in het onderzoeksproces wordt nu aan de hand van vaste kwaliteitscriteria bezien of de volgende fase kan worden ingegaan. Naast de reguliere controle in de lijn is nu ook voorzien in intercollegiale toetsing en kwaliteitsborging door onafhankelijk van de lijn gepositioneerde specialisten.

Wijze van rapporteren
De onderzoeksbevindingen van de Algemene Rekenkamer zijn in beginsel openbaar en worden gepubliceerd in rapporten die worden aangeboden aan het parlement. De rapporten kennen twee delen. In het eerste deel staan de belangrijkste conclusies en aanbevelingen, terwijl het tweede deel het ondersteunende feitenmateriaal biedt. De rapporten bevatten de reactie van de verantwoordelijke minister(s).

De onderzoeksrapporten hebben volgens de reviewers een goede opbouw waarbij de kernboodschap duidelijk naar voren komt. Ook respondenten uit Tweede Kamer, ministeries en zelfstandige bestuursorganen tonen zich positief over de rapporten: ze hebben effect, zijn evenwichtig en voldoende onderbouwd (Østtveiten, 2007). Wel zou de Algemene Rekenkamer moeten zoeken naar mogelijkheden om de presentatie van haar rapporten te verbeteren door meer en beter gebruik te maken van grafische toepassingen. De Rekenkamer kan zich volledig vinden in deze aanbevelingen: inmiddels zijn diverse rapporten met infographics, kaarten en zelfs een tweetal animaties uitgebracht.

Conclusies
Het is positief dat de beleidsdoorlichtingen en de doelmatigheidsonderzoeken zelf zijn geëvalueerd en dat de aanbevelingen door het ministerie van Financiën en de Algemene Rekenkamer grotendeels zijn overgenomen. Tussenevaluatie en peer-review leiden tot de volgende algemene conclusies.

1 Geef inzicht in kwaliteitszorg
Uit de Tweede Kamer blijft het geluid klinken dat het moeilijk is om objectieve informatie te krijgen (Tweede Kamer, 2009). Een duidelijke overeenkomst in de lessen uit de tussenevaluatie en de peer-review is dat het belangrijk is om aan de gebruikers van rapporten duidelijk te maken wat de kwaliteit ervan is. Een goed inzicht in hoe kwaliteitszorg in elkaar steekt en welke waarborgen er zijn voor onafhankelijkheid en betrouwbaarheid, kan er aan bijdragen dat (1) de lezer de bevindingen op hun merites kan beoordelen en (2) dat de rapporten in de politieke arena benut worden.

2 Beoordeel naast kwaliteit ook de responsiviteit van beschikbare evaluaties
Als het gaat om het benutten van reeds beschikbare evaluaties en andere beleidsinformatie, hebben de beleidsdoorlichtingen en doelmatigheidsonderzoeken een belangrijke toetsende rol. Daarbij gaat het natuurlijk om de kwaliteit: kan er op de beschikbare evaluaties inderdaad voortgebouwd worden of is de kwaliteit daarvoor niet voldoende? Maar er is meer: periodieke doorlichtingen en doelmatigheidsonderzoeken moeten ook de responsiviteit van beleid en beleidsmakers toetsen. Reguliere informatiesystemen en evaluaties zouden die responsiviteit al moeten vergroten door op gebrek aan succes te wijzen, perverse effecten van maatregelen bloot te leggen of kansrijke alternatieven aan te dragen (Zie Van der Knaap, 2006; vergelijk In ’t Veld, 2009). De praktijk laat echter zien dat het denken over beleid niet zelden verstart en dat uitvoeringsprocessen daardoor vaak dichtgeregeld raken (vergelijk Bovens en Schillemans, 2009).

3 Houd bestaande doelstellingen, indicatoren en regels kritisch tegen het licht
Het tegenwicht dat doorlichtingen en rekenkameronderzoeken kunnen bieden, is het kritisch tegen het licht houden van de waarde van doelstellingen, indicatoren en regels. Hoe relevant zijn de gekozen doelstellingen bijvoorbeeld nog? Drukken zij inderdaad de essentie van een maatschappelijk probleem uit? Welke voor- en nadelen zijn aan het gebruik van indicatoren en prestatiegegevens verbonden? Welke alternatieven zijn er voor regels? De antwoorden op deze vragen maken het mogelijk om alleen de meest geschikte doelstellingen, indicatoren en regels te handhaven en zo hun aantal behapbaar te houden.

4 Ga bewust om met leren en verantwoording
Veel literatuur over beleidsevaluatie gaat uit van de dubbele doelstelling ‘leren en verantwoorden’. Ook beleidsdoorlichtingen en doelmatigheidsonderzoeken richten zich op zowel leren als verantwoording. De in dit artikel beschreven tussenevaluatie en peerreview zijn op zichzelf genomen voorbeelden van hoe leren en verantwoording inderdaad samen kunnen gaan. Niet elk leerproces is evenwel gebaat bij de openbaarheid van verantwoording. Argyris beschrijft treffend de verdedigingsresponsen, die de mogelijkheid dat dingen beter zouden kunnen op voorhand uitsluiten (1993). Michels geeft aan dat kennis in de politiek ook selectief gebruikt wordt (2008).

Veel lessen worden daardoor niet publiekelijk bij het afleggen van verantwoording geleerd, maar al eerder, in het relatief besloten evaluatieproces dat daaraan vooraf gaat. Dat is naar mijn mening geen probleem. Het is pas een probleem als daar niet geleerd wordt. De onderzoekers van bureau APE concluderen in dat verband dat, hoewel er beleidsdoorlichtingen zijn waarvan beleidsdirecties veel van hebben geleerd, de totale leereffecten toch relatief gering zijn. Wanneer er geen goede communicatie tijdens het onderzoeksproces is, zijn de leereffecten ‘bijna per definitie nihil’ (Von Meyenfeldt, 2008).
Leren van evalueren vergt – naast kwaliteit – interactie (vergelijk Hoppe, 2008). Het meer op interactieve wijze uitvoeren van onderzoek, waarbij beleidsmakers, onderzoekers en belanghebbenden als het ware ‘live’ het debat aangaan, wordt dan ook steeds meer toegepast. Op de departementen is betrokkenheid van beleidsmakers vanaf een vroeg stadium nog belangrijker. Zíj moeten evaluaties kunnen beschouwen als instrument dat hen helpt om hun werk beter te doen (en niet als externe bedreiging). Wanneer beleidsmakers hun evaluaties zo plannen en inrichten dat leren voorop staan, kunnen beleidsdoorlichtingen en rekenkameronderzoek zich vervolgens op de kwaliteit van dat leren richten.

Tot besluit
Het afleggen van verantwoording blijft belangrijk, zeker op het niveau van de doelstellingen uit de begroting. Maar die verantwoording gaat wat niet alleen over effecten en doelmatigheid, maar ook over de vraag wat departementen van evaluaties en andere beleidsinformatie hebben geleerd. Beleidsmakers en bestuurders zijn immers niet alleen verantwoordelijk voor hun beleid, maar ook voor de wijze waarop zij hun leerprocessen organiseren en leerervaringen benutten (Stern, 2003). Hopelijk zal dit ook een rol spelen bij de negentien heroverwegingen die het kabinet in de Miljoenennota 2010 heeft aangekondigd.

Peter van der Knaap is onderzoeksdirecteur bij de Algemene Rekenkamer. Hij was respectievelijk als lid van de begeleidingscommissie en als directeur bij de tussenevaluatie en de peer-review betrokken. Hij schreef dit artikel op persoonlijke titel.

Noten
1 Een Kamerlid stelde in dit verband recentelijk: “De Kamer krijgt heel veel informatie van de regering en wordt (…) met enige regelmaat zelfs overladen met informatie” (Tweede Kamer, 2009, p. 45).
2 De tussenevaluatie wordt uitgevoerd door een extern onderzoeksbureau, het Haagse APE, onder begeleiding van een onafhankelijke begeleidingscommissie met een externe voorzitter.
3 Verder is in de regeling opgenomen dat ministers met de Tweede Kamer afspraken kunnen maken over aanvullende kwaliteitseisen.
4 Ook de Tweede Kamer en ministers kunnen de Algemene Rekenkamer verzoeken om een doelmatigheidsonderzoek. Gemiddeld worden jaarlijks twee tot drie van deze verzoeken gehonoreerd.

Literatuur

• Algemene Rekenkamer (2004), Presteren en functioneren van het openbaar bestuur, Den Haag.
• Algemene Rekenkamer (2006), Kwaliteitszorg Doelmatigheidsonderzoek.
• Argyris, Chris (1993), On organizational learning, Blackwell, Cambridge.
• Bovens, Mark en Thomas Schillemans (2009), Handboek publieke verantwoording, Lemma, Utrecht.
• Dunn, William N. (1994), Public policy analysis, Prentice Hall, Englewood Cliffs
• Hoppe, Rob, ‘Na “doorwerking” naar “grenzenwerk”’, in: Bestuurskunde, Jaargang 17, nummer 2 (2008).
• Ministerie van Financiën (2006), Regeling periodiek evaluatieonderzoek en beleidsinformatie, Den Haag.
• Ministerie van Financiën (2008), Evaluatie-instrument beleidsdoorlichting - Brief minister inzake de tussenevaluatie beleidsdoorlichtingen, Den Haag.
• Knaap, P. van der en A. Schilder (2004), Resultaatgericht sturen en evalueren – Nieuwe perspectieven op beleidsinstrumenten en beleidsevaluatie, Sdu Uitgevers, Den Haag.
• Knaap, P. van der (2006), ‘Theoriegerichte beleidsevaluatie – Responsieve rationaliteit: niets zo praktisch als een goede theorie’, in: Bestuurskunde, nr. 4, 2006, pp. 78-87.
• Meyenfeldt, Lone von, Carlien Schrijvershof en Peter Wilms (2008), Tussenevaluatie Beleidsdoorlichtingen, APE, Den Haag.
• Michels, (2008), ‘Kennis en conflict in beleidsprocessen’, in: Bestuurskunde, nr. 4, 2006, pp. 78-87.
• Østtveiten, H.S. (2007), Peer-review Algemene Rekenkamer - Rapport van de rekenkamers van Noorwegen, Nieuw-Zeeland, Zuid-Afrika en het Verenigd Koninkrijk, Den Haag.
• Schwartz, R. en J. Mayne (2005), Quality Matters: Seeking Confidence in Evaluation, Performance Auditing and Performance Reporting, Transaction Publishers, New Hamshire.
• Stern, Elliot (2003), The Rationale & Challenges for Evaluation of Public Policies, Lezing tijdens de Vijfde Europese Conferentie over de evaluatie van de Europese Structuurfondsen, Budapest, Juni 2003.
• Tweede Kamer (2009), Vertrouwen en zelfvertrouwen – Rapport Parlementarie zelfreflectie 2007-2009, Den Haag.
• Veld, R.J. in ‘t (2009), Willens en wetens, RMNO, Den Haag.