Bouwstenen voor onderzoek naar de effectiviteit van rijksbeleid
14 februari 2013 om 17:22 0 reacties
Met de opkomst van lokale rekenkamers wordt steeds meer onderzoek naar de resultaten van rijksbeleid uitgevoerd. Veel rijksbeleid wordt immers op lokaal niveau uitgevoerd. Kan de
Met de opkomst van lokale rekenkamers wordt steeds meer onderzoek naar de resultaten van rijksbeleid uitgevoerd. Veel rijksbeleid wordt immers op lokaal niveau uitgevoerd. Kan de Algemene Rekenkamer in haar onderzoek nuttig gebruikmaken van de uitkomsten van die onderzoeken? Wat vertelt het ons over de effectiviteit van rijksbeleid en geeft het inzicht in mogelijke verklaringen voor minder effectief beleid?
Sinds begin 2006 hebben vrijwel alle 458 gemeenten een rekenkamer(functie).1 Sommige daarvan zijn al een aantal jaar actief, een groot aantal is pas recent van start gegaan (zie Wildeman, 2006). Een van de taken die lokale rekenkamers in de Gemeentewet hebben gekregen, is onderzoek te doen naar de doelmatigheid en doeltreffendheid van beleid of de bedrijfsvoering. Voor de Algemene Rekenkamer is lokaal rekenkameronderzoek naar doelmatigheid en doeltreffendheid een interessant gegeven. Want veel rijksbeleid wordt immers op lokaal niveau uitgevoerd. Als wij als Algemene Rekenkamer iets willen zeggen over de effectiviteit van rijksbeleid en mogelijke verklaringen willen vinden voor ineffectief rijksbeleid, dan hebben we daarmee wellicht een waardevolle informatiebron te pakken. Ook voor lokale rekenkamers kan dergelijk metaonderzoek nuttig zijn, omdat zij dan niet telkens weer hetzelfde wiel hoeven uit te vinden (zie ook Van der Dussen, 2006; juryrapport NVRR Goudvink 2005, 2006).
Daarom hebben wij onszelf de volgende vragen gesteld:
- welke onderzoeken naar doelmatigheid en doeltreffendheid van beleid – op beleidsterreinen die een relatie hebben met rijksbeleid – zijn in de periode 2000 tot medio 2004 uitgevoerd op lokaal niveau?
- kan de Algemene Rekenkamer in haar onderzoek gebruikmaken van de uitkomsten van deze onderzoeken, bijvoorbeeld als het gaat om het vinden van verklaringen voor achterblijvende resultaten van rijksbeleid?
Om deze twee vragen te beantwoorden hebben we (a) geïnventariseerd welk soort onderzoeken op lokaal niveau wordt uitgevoerd en (b) onderzoek gedaan naar de bruikbaarheid van de onderzoeken naar doelmatigheid en doeltreffendheid van beleid voor uitspraken over de resultaten van rijksbeleid en verklaringen voor achterblijvende beleidsresultaten. We beantwoorden deze vragen aan de hand van een brede inventarisatie van lokaal rekenkameronderzoek (paragraaf 2) en een verdiepend metaonderzoek (paragraaf 3). In de slotparagraaf komen we tot onze conclusie.
Inventarisatie
Voor de vraag naar welke onderzoeken naar doelmatigheid en doeltreffendheid van beleid op lokaal niveau worden uitgevoerd, hebben we gebruik gemaakt van de inventarisatie2 die Bruno Steiner Advies heeft uitgevoerd in opdracht van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Steiner heeft een inventarisatie gemaakt van onderzoek door gemeentelijke en provinciale rekenkamer(functie)s, rekeningcommissies en beleidsevaluatiecommissies over de periode van 1991 tot medio 2004. Voor onze inventarisatie beperken we ons tot de periode 2000 tot medio 2004. In totaal gaat het voor die periode om 256 rapporten.
Aan de hand van de inventarisatie van Steiner zijn we nagaan (A) of de onderzoeken van lokale rekenkamers raakvlakken hebben met rijksbeleidsvelden (waar de lokale overheid bijvoorbeeld (mede)uitvoeringsverantwoordelijkheid of toezichtverantwoordelijkheid heeft voor rijksbeleid), (B) in welke mate lokale rekenkamers onderzoek op het gebied van doelmatigheid en doeltreffendheid van beleid hebben gepubliceerd (DDO), en (C) of het onderzoek mogelijk verklaringen voor achterblijvende beleidsresultaten geeft.
Het betreft een quick scan zodat de uitkomsten een inschatting zijn. We hebben niet alle 256 rapporten inhoudelijk bekeken, maar ze gescoord op basis van de samenvatting, titel en de primaire analyse3 van Steiner. Om meer zekerheid te hebben over de juistheid van onze inschattingen is elk rapport door twee personen gescoord en zijn twijfelgevallen in het team besproken. In figuur 1 zijn de bevindingen samengevat.
Figuur 1. Soorten onderzoek door lokale rekenkamers uitgevoerd in de periode 2000 - medio 2004 (n=256).
Rijksbeleid
We constateren dat veel onderzoek van lokale rekenkamers de interne bedrijfsvoering betreft (zie ook Blom en Tazelaar, 2006). Populaire onderwerpen zijn bijvoorbeeld de inhuur van externen en de kwaliteit van de begrotingen (zie ook Blom en Tazelaar, 2006 en Wildeman, 2006). 28% van het lokale rekenkameronderzoek betreft onderzoek naar terreinen die direct te relateren zijn aan (de lokale uitvoering van) rijksbeleid. Voorbeelden van lokaal rekenkameronderzoek die over rijksbeleid gaan zijn bijvoorbeeld onderzoeken naar de Wet Voorziening Gehandicapten, het re-integratiebeleid, het minimabeleid, de jeugdzorg en bodemsanering.
Doelmatigheid en doeltreffendheid
Onderzoek naar doelmatigheid en doeltreffendheid van beleid is vooralsnog een uitzondering in lokaal rekenkameronderzoek. Slechts ongeveer een tiende van alle onderzoeken valt onder de brede noemer ‘doelmatigheid en doeltreffendheid van beleid’. Ook al wordt er aan veel meer van de onderzoeken het label ‘onderzoek naar doelmatigheid en doeltreffendheid’ gehangen, deze onderzoeken betreffen geen ‘echt’ onderzoek naar de doelmatigheid en doeltreffendheid. In de praktijk richt het onderzoek zich namelijk op de vraag of de doelen van het beleid zijn gerealiseerd (doelrealisatie).4 Veel lokaal rekenkameronderzoek gaat over gemeentelijke bedrijfsvoering (zie hierboven). Op zich is dat ook niet zo vreemd. Onderzoek naar bedrijfsvoering is zeer nuttig en verhoudingsgewijs ook eenvoudiger uit te voeren dan onderzoek naar de doeltreffendheid van het beleid (zie Klaassen en Hakvoort, 2006). Een voorbeeld van dit soort onderzoek naar doelrealisatie is die van de commissie beleidsevaluatie van de gemeente Bergen op Zoom naar het kinderopvangbeleid in de jaren 1990–1997. De gemeentelijke doelen met betrekking tot kinderopvang liggen in het verlengde van de rijksdoelen. Primair gaat het de gemeente om de bevordering van de arbeidsparticipatie van vrouwen. Secundair is de vroegtijdige integratie van allochtone kinderen en het vroegtijdig signaleren van ‘probleemkinderen’. De commissie concludeerde overigens dat de doelrealisatie redelijk is.
Verklaringen
Ongeveer een kwart van de 256 rapporten bevat mogelijk verklaringen voor achterblijvende resultaten van (rijks)beleid. Verklaringen kunnen liggen in bijvoorbeeld de kwaliteit van het (rijks)beleid zelf of de organisatie en uitvoering van het beleid zoals problemen in de bedrijfsvoering (ICT). Zo bleek bijvoorbeeld bij een evaluatie van de inhoudelijke doelen van het streekplan West-Overijssel dat een goed planvormingsproces, een strakke toetsing, goed overleg en een meevallende economie hebben bijgedragen aan de realisatie van de beleidsdoelen. Een ander voorbeeld betreft een onderzoek van de gemeente Arnhem. Centrale vraag daarbij was of de gemeentelijke inspanningen in de jaren 1998–1999 om uitkeringsgerechtigden te laten uitstromen naar reguliere (niet gesubsidieerde) banen effectief zijn geweest. Dat lijkt niet het geval te zijn. Verklaringen daarvoor worden gevonden in een discrepantie tussen beleid en uitvoering: het rijks- en gemeentebeleid was formeel op die uitstroom gericht, terwijl in de uitvoering het accent lag op het rechtmatig verstrekken van uitkeringen.
In totaal wordt in slechts 5% van de onderzoeken die een relatie hebben met rijksbeleid gekeken naar zowel doelmatigheid en doeltreffendheid van beleid, als naar verklaringen.
Verdiepende analyse
Bovenstaand antwoord op de eerste onderzoeksvraag leert ons nog niet zoveel over de daadwerkelijke kwaliteit en de uitkomsten van deze onderzoeken. Daarom is de tweede onderzoeksvraag hierop gericht: kan de Algemene Rekenkamer de bevindingen van lokaal rekenkameronderzoek naar doelmatigheid en doeltreffendheid en dat betrekking heeft op rijksbeleid gebruiken voor eigen onderzoek (bijvoorbeeld verklaringen voor het feit dat rijksbeleid niet slaagt). Om een antwoord te vinden op die onderzoeksvraag hebben we een aantal rapporten van lokale rekenkamers nader geanalyseerd.
Door middel van een metaonderzoek hebben we een beperkt aantal rapporten op het gebied van re-integratie van werklozen onderzocht. De keuze is op dit onderwerp gevallen omdat het rijksbeleid betreft én er een redelijk aantal rapporten van lokale rekenkamers over zijn verschenen. In totaal hebben we negen rapporten – deels uit het Steiner-databestand, deels meer recente rapporten – die betrekking hebben op de re-integratie van werklozen onderworpen aan een metaonderzoek.5 We kiezen voor metaonderzoek omdat we twee aspecten, die inherent zijn aan metaonderzoek (Algemene Rekenkamer, 2003), willen toetsen: is het onderzoek van voldoende kwaliteit en wat komt er qua bevindingen uit?
Re-integratie van werklozen: rijksbeleid Het ministerie van Sociale Zaken en Werkgelegenheid (SZW) heeft in de begroting 2006 de volgende beleidsdoelstelling opgenomen op het gebied van re-integratie: het voorkomen van uitval uit arbeid en het toe leiden naar reguliere arbeid van hen die dat niet op eigen kracht kunnen door het bieden van re-integratievoorzieningen. Het doel is om de uitkeringsafhankelijkheid te verminderen en te voorkomen. Het ministerie van SZW bevordert de re-integratie en voorkomt uitval uit arbeid. De programma-uitgaven voor deze beleidsdoelstelling zijn voor 2006 begroot op ongeveer 1,8 miljard euro. (Tweede Kamer, 2005). Een deel van het re-integratiebeleid van de rijksoverheid, namelijk het beleid voor mensen in de bijstand, wordt uitgevoerd door gemeenten. In het grootste deel van de door ons onderzochte periode gold hiervoor de Algemene Bijstandswet (ABW). Sinds 1 januari 2004 is de ABW vervangen door de Wet Werk en Bijstand (WWB). Met de WWB zijn gemeenten zelf financieel verantwoordelijk gemaakt voor de bijstandsuitkeringen.6 Ze krijgen hiervoor een vast budget. Eventuele tekorten moeten ze zelf aanvullen en eventuele overschotten mogen ze houden. Gemeenten hebben zo een financieel belang om zoveel mogelijk mensen aan het werk te helpen en fraude met uitkeringen te bestrijden.7 |
Kwaliteit van lokaal rekenkameronderzoek
We hebben de kwaliteit van de negen lokale rekenkamerrapporten op het terrein van re-integratie beoordeeld. Daarbij hebben we ons beperkt tot de basisvraag: kan de Algemene Rekenkamer gebruikmaken van de bevindingen, conclusies en/of aanbevelingen uit de rapporten?
De beoordeling vond plaats aan de hand van de volgende criteria:
- Bevat het rapport een probleemstelling, onderzoeksvragen en een doelstelling?
- Bevat het rapport bevindingen en geven die eenduidig antwoord op de vragen?
- Zijn er conclusies geformuleerd en sluiten die logisch aan bij de bevindingen?
- Sluiten de conclusies aan bij de probleemstelling, onderzoeksvragen en doelstelling?
- Is er sprake van evident niet getrokken conclusies?
- Zijn de gehanteerde normen vermeld en is de keuze daarvoor onderbouwd?
Als aan ten minste vijf van de zes criteria is voldaan, dan is een onderzoek naar onze mening van voldoende kwaliteit. Uit onze analyse volgt dat de kwaliteit van het overgrote deel van de negen rapporten voldoende is om gebruik te kunnen maken van de bevindingen, conclusies en/of aanbevelingen. Het viel ons wel op dat in een enkel rapport bijvoorbeeld geen probleemstelling of doelstelling is opgenomen. Daarnaast werd soms een van de (hoofd)vragen niet beantwoord of sloten de onderzoeksvragen niet altijd of niet helemaal aan bij de probleemstelling. Twee rapporten worden op basis van de gehanteerde criteria als onvoldoende gekwalificeerd.
Op basis van deze steekproef en analyse kunnen we concluderen dat het merendeel van de onderzochte rapporten van lokale rekenkamers van goede kwaliteit is en daarmee bruikbaar voor secundaire analyse.
Uitkomsten van lokaal rekenkameronderzoek
In de vorige paragraaf hebben we geconstateerd dat de kwaliteit van het overgrote deel van de bestudeerde rapporten voldoende is om op verder te bouwen. Aan deze noodzakelijke, maar niet voldoende voorwaarde is derhalve voldaan. Het onderzoek van de lokale rekenkamers moet ook aansluiten bij rijksbeleid, als we ons een beeld willen vormen van de doeltreffendheid van rijksbeleid. Uit onze inventarisatie blijkt dat de onderzochte rapporten inderdaad betrekking hebben op (de lokale invulling van) rijksbeleid.
Dit wil echter niet zeggen dat de onderzoeksvragen er op gericht zijn om tot een oordeel te komen over het rijksbeleid. De nadruk ligt logischerwijs op de lokale beleidsmatige keuzen en de lokale (organisatorische inrichting van de) uitvoering. Dit sluit aan bij de taak van lokale rekenkamers om de doeltreffendheid van lokaal beleid te beoordelen en de raad van informatie te voorzien.
Uit ons onderzoek blijkt verder dat er een behoorlijke variatie is in de deelprocessen van het re-integratiebeleid die zijn onderzocht. Voor het doen van uitspraken over de effectiviteit van rijksbeleid is dat, aan de ene kant, een beperking. Aan de andere kant kan dat ook een voordeel zijn, omdat het inzicht geeft in de verscheidenheid aan deelprocessen die een rol spelen bij het tot stand brengen van het beleidsresultaat.
Overigens stuiten de lokale rekenkamers – net als de Algemene Rekenkamer – op allerlei praktische problemen die het niet goed mogelijk maken om uitspraken te doen over de effectiviteit van het beleid. Denk hierbij bijvoorbeeld aan het afwezig zijn van een goede analyse van de beginsituatie: hoe groot is het probleem nou eigenlijk en wat gaan wij als gemeente daaraan doen? Daaraan gerelateerd is een ander knelpunt bij de aansturing van het re-integratiebeleid: de kwaliteit van de doelformulering. Veelal zijn deze onvoldoende SMART-C8 geformuleerd. Daarnaast is de kwaliteit van de beleidsinformatie een van de grote struikelblokken. Doordat er onvoldoende inzicht bestaat in wat de verschillende partijen doen aan re-integratie en wat daarvan het effect is, is het moeilijk om uitspraken te kunnen doen over de effectiviteit van het beleid.
Welke verklaringen komen nu naar voren uit de door ons onderzochte rapporten?
Ondanks de diversiteit in de aanpak, specifieke onderwerpkeuze en onderzoeksvragen kunnen de verklaringen in twee categorieën worden ingedeeld.
De eerste categorie verklaringen is beleidsinhoudelijk van karakter. Overproductie van (rijks)beleid of conflicterend (rijks)beleid is daarbij een van de verklaringen. De informatieverplichting die is gekoppeld aan het beschikbaar stellen van re‑integratiegelden zorgde er bij sommige gemeenten voor dat de middelen hoofdzakelijk gebruikt werden om te kunnen voldoen aan de toenemende verantwoordingsverplichting aan het rijk. Ook de complexiteit van regelgeving en het feit dat deze steeds wijzigt, heeft er toe geleid dat gemeenten meer aandacht gaven aan inkomensvoorzieningstaken waardoor intensivering van het uitstroombeleid op de achtergrond kwam.
Een andere inhoudelijke verklaring voor achterblijvende resultaten van het re-integratiebeleid betreft cream skimming, oftewel het afromen van de meest kansrijke kandidaten. In een beginperiode worden eerst de kandidaten geholpen die het snelst aan een baan kunnen komen. Daardoor lijken de aanvankelijke resultaten uitstekend. Pas in een latere fase ontstaan problemen, omdat de moeilijk plaatsbaren niet of heel moeilijk gere-integreerd kunnen worden. Gebrek aan bestuurlijke aandacht en samenwerking is een derde inhoudelijke verklaring. Doordat de organisaties die actief zijn op het terrein van re-integratie, zoals bijvoorbeeld het UWV (Uitvoering werknemersverzekering) en het CWI (Centrum voor Werk en Inkomen), onvoldoende samenwerken, wordt onvoldoende resultaat geboekt. Ook de gemeente is niet altijd even duidelijk in wat ze wil. Het college van B&W maakt soms geen strategische keuzes en de gemeenteraad is soms te weinig betrokken bij het re-integratiebeleid.
De tweede categorie verklaringen betreft aspecten van de bedrijfsvoering. Zo blijken gemeentelijke diensten niet of in onvoldoende mate te kunnen beschikken over de juiste gegevens over beleid en uitvoering. Gebrekkig inzicht in het eigen cliëntbestand, bijvoorbeeld met een clientvolgsysteem, wordt in meerdere rapporten genoemd als een verklaring voor achterblijvende resultaten.
Conclusie
Twee vragen gaven aanleiding gaven tot deze verkenning:
- Welke onderzoeken naar doelmatigheid en doeltreffendheid van beleid – op beleidsterreinen die een relatie hebben met rijksbeleid – zijn op lokaal niveau uitgevoerd?
- Kan de Algemene Rekenkamer in haar onderzoek gebruikmaken van de uitkomsten van deze onderzoeken?
De eerste onderzoeksvraag hebben we onderzocht door middel van een secundaire analyse van uitgevoerd onderzoek door lokale rekenkamers. We zijn nagegaan of lokaal rekenkameronderzoek betrekking heeft op rijksbeleid, of ze inzicht geven in doelmatigheid en/of doeltreffendheid van beleid, en of ze mogelijke verklaringen geven voor achterblijvende beleidsresultaten. Onderzoek dat betrekking heeft op rijksbeleid en onderzoek waarin wordt gekeken naar verklaringen voor achterblijvende beleidsresultaten komen we verhoudingsgewijs vaker tegen (in circa 25% van de rapporten), dan onderzoek naar doelmatigheid en doeltreffendheid (10% van de rapporten). Overigens beperken de onderzoeken onder de brede noemer ‘doelmatigheid en doeltreffendheid’ zich met name tot de vraag of de beleidsdoelen zijn gerealiseerd.
De tweede onderzoeksvraag – kan de Algemene Rekenkamer in haar onderzoek gebruikmaken van de uitkomsten van deze onderzoeken? – is onderzocht door middel van een meta-evaluatie van een beperkt aantal rapporten op het gebied van re-integratie van werklozen. De keuze is op het onderwerp re-integratie van werklozen gevallen omdat het rijksbeleid betreft én er een redelijk aantal rapporten van lokale rekenkamers over zijn verschenen.
Een meta-evaluatie valt uiteen in twee vragen: (1) is de kwaliteit van het primaire onderzoek voldoende, opdat het gebruikt kan worden voor secundaire analyse en (2) wat zijn vervolgens de uitkomsten van die onderzoeken? Uit onze analyse blijkt dat de kwaliteit van het lokale rekenkameronderzoek naar de re-integratie van werklozen voldoende is om te gebruiken voor secundaire analyse. Vervolgens zijn we nagegaan wat die rapporten ons leren over de uitkomsten van rijksbeleid en of ze mogelijke verklaringen bieden voor achterblijvende beleidsresultaten.
Alhoewel in de onderzoeken de prestaties en effecten over het algemeen worden gerelateerd aan lokale doelen, zeggen de onderzoeken wel degelijk ook iets over de uitkomsten van rijksbeleid. Het lijkt gezien de grote verschillen tussen de onderzoeken echter niet haalbaar om de onderzoeksresultaten zonder meer te aggregeren om een omvattend oordeel over de effectiviteit van rijksbeleid te vormen.
De rapporten van lokale rekenkamers bieden wel inzicht in verklaringen. We identificeren een tweetal categorieën van mogelijke verklaringen: beleidsinhoudelijke en bedrijfsvoeringtechnische. Hierbij valt bijvoorbeeld te denken aan een overproductie van beleid, conflicterend beleid, onvoldoende samenwerking en het niet kunnen beschikken over voldoende gegevens. De soorten mogelijke verklaringen die in onderzoek van lokale rekenkamers naar voren komen zijn inhoudelijk vergelijkbaar met de bevindingen van onderzoek van de Algemene Rekenkamer en zijn in die zin niet ‘nieuw’. Wel kan zo meer inzicht ontstaan in welk mechanisme binnen een bepaald beleidsterrein dominant aanwezig is.
Samenvattend
Wat kan de Algemene Rekenkamer doen met deze onderzoeksbevindingen? Van rapporten van lokale rekenkamers kan niet worden verwacht dat zij direct bouwstenen bieden om onderzoeksvragen van de Algemene Rekenkamer te beantwoorden. Hiervoor zijn de onderzoeken te verschillend van inhoud en aanpak. Wel kan de Algemene Rekenkamer de bevindingen gebruiken voor haar monitoring en als indicaties (voor verder onderzoek) in onderzoek(svoorstell)en. De kwaliteit van lokaal rekenkameronderzoek laat dat ook toe. Dit brengt ons tot de conclusie dat lokaal rekenkameronderzoek de Algemene Rekenkamer wellicht geen directe bouwstenen, maar zeker prima aanknopingspunten kan bieden voor onderzoek naar de effectiviteit van rijksbeleid.
Astrid Matheeuwsen, Jules Schreurs en Rudi Turksema zijn werkzaam bij de Algemene Rekenkamer.
Steven Jongejan werkt bij Gemeenteraad.nl.
Noten
1 Ook de provincies zijn druk bezig geweest om (al dan niet gemeenschappelijke) rekenkamers op te zetten. Zij dienden al op 1 januari 2005 een rekenkamer of rekenkamerfunctie te hebben.
2 Bruno Steiner Advies (2004). Inventarisatie van onderzoek door gemeentelijke en provinciale rekenkamer(functie)s, rekeningcommissies en evaluatiecommissies van 1991 tot medio 2004. Met dank aan de Nederlandse Vereniging van Rekenkamers en Rekenkamercommissies (NVRR) voor het ter beschikking stellen van dit bestand.
3 In de database is per onderzoek aangegeven of en, zo ja, welk rijksbeleidsterrein het betreft. De classificatie die is gebruikt, komt uit het Besluit Comptabiliteitsvoorschriften 1995 (tegenwoordig Besluit Begroting en Verantwoording Provincies en Gemeenten).
Daarnaast is aangegeven of het onderzoek met name ingaat op doelmatigheid, doeltreffendheid of rechtmatigheid of een combinatie daarvan.
4 De vraag of het realiseren van de doelen te danken is aan het beleid (doeltreffendheid) is veel lastiger te beantwoorden, net zoals de doelmatigheid, en wordt dan ook weinig onderzocht. Dit geldt overigens ook voor de Algemene Rekenkamer.
5 Oorspronkelijk waren er dertien onderzoeken geselecteerd. Van deze dertien onderzoeken bleken er uiteindelijk negen ‘bruikbaar’ voor nader onderzoek naar de kwaliteit ervan (zie de literatuurlijst). Eén rapport bleek niet beschikbaar, twee rapporten bleken niet relevant en één rapport bleek niet meer te zijn dan een zeer beknopte factsheet.
6 Zie CPB (2006) voor een eerste analyse van de effectiviteit van de WWB.
7 Zie www.minszw.nl.
8 Specifiek, Meetbaar, Afgestemd, Realistisch, Tijdgebonden en Consistent.
Literatuur
- Algemene Rekenkamer (2003). Handleiding Metaonderzoek. Den Haag Algemene Rekenkamer.
- Algemene Rekenkamer (2004). Bemiddeling en re-integratie van werklozen. Tweede Kamer, vergaderjaar 2004–2005, 29 855, nrs. 1-2.
- Bruno Steiner Advies (2004). Inventarisatie van onderzoek door gemeentelijke en provinciale rekenkamer(functie)s, rekeningcommissies en evaluatiecommissies van 1991 tot medio 2004.
- Blom, M. en P.A.C. Tazelaar (2006). De frisse blik van de lokale rekenkamer. Research rapport. Barneveld: Significant bv.
- CPB (2006). Wet Werk en Bijstand: een eerste kwantificering van de effecten. CPB-document no. 120.
- Gemeente Arnhem (2001). Trajecten of triomfen. Onderzoek naar de effectiviteit van het gemeentelijke uitstroombeleid.
- Gemeente Bergen op Zoom (1998). Evaluatie uitstroombeleid en werkgelegenheidsbevorderende projecten.
- Gemeente Enschede (2001). Re-integratie in Enschede. Onderzoek naar de effectiviteit van het re-integratiebeleid.
- Gemeente Gouda (2005). Werk aan de winkel: van bijstand naar werk. Reïntegratiebeleid voor bijstandsgerechtigden in Gouda.
- Gemeente Groningen (2004). Aanbesteding re-integratie.
- Gemeente ’s-Hertogenbosch (1999). Onderzoek naar de effectiviteit van activeringsmaatregelen.
- Gemeente Tilburg (1995). Rapport onderzoek bijzondere bijstand van de rekeningcommissie.
- Gemeente Tilburg (1999). Rapport onderzoek effectiviteit werkgelegenheidssubsidies. Onderzoeksverslag en aanbevelingen van de rekeningcommissie.
- Gemeente Zwolle (2003). Onderzoek gemeentelijk beleid arbeidstoeleiding. Eindrapport.
- Klaassen, H.L. en J.L.M. Hakvoort (2006). Methodische en politiek-bestuurlijke aspecten van provinciaal en lokaal rekenkameronderzoek. In: TPC, 4(1), 21-24.
- NVRR (2006). NVRR Goudvink 2005. Juryverslag; De prijs voor het beste rekenkamer onderzoek. Den Haag: NVRR.
- Tweede Kamer (2005). Begroting 2006 Ministerie van Sociale Zaken en Werkgelegenheid. Vergaderjaar 2005-2006, 30 300, hoofdstuk XV, nr. 2. Den Haag: Sdu.
- Van Drunen, N. (2006). Rekenkameronderzoeken nader onderzocht. In: Overheidsmanagement, 19(2), 38-40.
- Van der Dussen, (2006). Rekenkamers en rekenkamercommissies bij gemeenten en provincies. In: Overheidsmanagement, 19(6), 158-159.
- Van Dijken, Koos (2005). Effecten van lokaal beleid. De beleidstheorie in lokaal rekenkameronderzoek. In: Basis, nr.4, 8-10.
- Wildeman, G.T. (2006). Lokale rekenkamers: the proof of the pudding is in the eating. In: TPC, 4(2), 32-36.