Grip op doorwerking van onderzoeksrapporten

‘Kennis is nog geen wijsheid’, scheef Schopenhauer al. Maar het is wel wijs om kennis te gebruiken die aangeboden wordt. Toch liggen lades vol met onderzoeksrapporten die nauwelijks gebruikt worden. Een belangrijke oorzaak is dat vooraf onvoldoende is nagedacht over de doorwerking (benutting) van rapporten. Ook een goed rapport ‘verkoopt’ zich niet vanzelf, daar moet je als onderzoeker mee aan de slag. Het Backto-model kan daarbij behulpzaam zijn.

Van theorie naar praktijk
het openbaar bestuur zijn verschillende professionals actief die door middel van onderzoek inzicht bieden in het functioneren en presteren van delen ervan. Denk aan auditors, accountants, beleidsonderzoekers, rekenkamers en andere. Hoewel hun positie en taak op verschillende punten verschilt, is er één sterke overeenkomst: ze willen allemaal dat hun bevindingen gebruikt worden, anders heeft hun werk geen zin.

In de bestuurswetenschap is al vanaf de jaren ’70 aandacht voor het fenomeen dat kennis uit (beleids) onderzoek onvoldoende benut wordt in de bestuurspraktijk. Een van de pioniers was Harvard professor Carol Weiss die tot haar overlijden eind 2013 bleef strijden voor het verbeteren van knowledge utilization in beleidsprocessen. De wetenschappelijke literatuur over ‘doorwerking’ is vrij theoretisch van aard. Een recent voorbeeld daarvan is het artikel ‘Beleidsonderzoek benutten’ van Korsten & Van der Meer in het e-magazine Beleidsonderzoek Online van februari 2014.

Vanaf de landelijke evaluatie van lokale rekenkamers en rekenkamercommissies (Berenschot, 2011) is er binnen het rekenkameronderzoek een debat ontstaan over hoe doorwerking te meten en te stimuleren is. Met het Backto-model wordt een instrument geïntroduceerd waarmee een brug tussen theorie en praktijk wordt geslagen. Over het model is tot nu toe een artikel in Beleidsonderzoek Online verschenen en zijn presentaties gegeven. Binnen de Rekenkamer Oost-Nederland wordt ermee geëxperimenteerd om de meerwaarde van het rekenkameronderzoek in beeld te brengen (zie Jaarverslag 2013). Het is een model in ontwikkeling dat ook buiten het rekenkameronderzoek toegepast kan worden.

Doorwerking in het kort
Synoniemen voor doorwerking zijn benutting, impact, betekenis, gebruik, effect, rendement of invloed van onderzoek. In dit artikel kiezen we voor het gebruik van het begrip ‘doorwerking’.
Er worden verschillende vormen van doorwerking onderscheiden. De vier vormen van doorwerking die bijvoorbeeld Bekkers e.a. beschrijven, zoals weergegeven in de tabel, komen we in de literatuur vaak tegen.

Tabel. Vier vormen van doorwerking
Bron: Figuur 2 uit Bekkers e.d. (2004)

Een belangrijke les uit de doorwerkingsliteratuur is dat instrumentele doorwerking niet de enige vorm van doorwerking is. Het gaat om meer dan dat er een formeel besluit komt waarin staat dat de conclusies en aanbevelingen worden overgenomen. En de organisatie overgaat tot de orde van de dag. Een kennisproduct werkt meestal op meerdere manieren tegelijkertijd door. Een onderzoeksrapport kan helpen om een onderwerp op de politieke agenda te krijgen, nieuwe kennis aan te bieden en concrete verbeterpunten te bieden, en kan gebruikt worden door een politieke fractie of maatschappelijk organisatie om hun standpunt te onderbouwen. Die brede kijk op doorwerking vinden we terug in het Backto-model.

Zes factoren voor doorwerking
Backto staat voor Behoefte, Attitude, Communicatie, Timing en Onderwerp. Dit zijn zes factoren die van invloed zijn op de doorwerking van onderzoek. We bespreken ze in de volgorde van de letters van het acroniem BACKTO. Het acroniem zelf heeft geen betekenis, maar kan helpen om de factoren te onthouden.

Figuur. Backto model

Behoefte van doelgroep
De kennisbehoefte van de doelgroep is van invloed op de doorwerking van onderzoek. In het algemeen geldt dat de doorwerking toeneemt als een onderzoek aansluit bij de behoefte aan bepaalde kennis. Die behoefte kan overigens ook door het onderzoek zelf gecreëerd worden. Onderzoek kan dan een einde brengen aan een blinde vlek. Een voorbeeld is de aandacht vanuit rekenkameronderzoek voor onderbesteding of ‘onderuitputting’ van budgetten. Een tweede voorbeeld is de recente aandacht voor falende ICT-projecten binnen de overheid. Een goed en regelmatig contact met de politiek is van belang om de kennisbehoefte te peilen. Dat betekent ook dat de onderzoeker het politieke debat waarnaar hij onderzoek verricht actief volgt.

Attitude van doelgroep
Een factor die weinig aandacht krijgt in de wetenschappelijke literatuur is de attitude van de ontvanger ten opzichte van onderzoek. Er zijn nu eenmaal mensen die een negatieve basishouding hebben naar (beleids)onderzoek. Recente incidenten van wetenschappelijke fraude doen het imago van de wetenschap, en indirect het imago van het brede vakgebied, geen goed. Zeker niet bij mensen die hun vermoeden bevestigd zien. Opvattingen over onderzoek kunnen een sterke invloed hebben op de doorwerking. Die invloed kan twee kanten opwerken. De uitersten zijn mensen met een heilig geloof in wetenschap en onderzoek tegenover mensen met radicaal ongeloof. Wat voor sommige onderzoeksinstituten meespeelt, is dat hun bestaansrecht ook voor- en tegenstanders kent. Er zijn mensen, en soms hele politieke fracties, die bij voorbaat al weinig met lokale rekenkamers, adviesraden of toezichthouders hebben. Het is dan lastig, hoe goed een onderzoek ook is, om hen te motiveren om het rapport te lezen, laat staan het daadwerkelijk te gebruiken.

Het komt daarnaast voor dat er sprake is van verstoorde, persoonlijke verhoudingen. Bijvoorbeeld tussen een voorzitter van een adviesraad en specifieke personen of fracties. Het is in zo’n geval belangrijk om eerst de persoonlijke verhoudingen te verbeteren.

Communicatie
Naast behoefte en attitude is de communicatie belangrijk. De ingezette middelen en stijl moet de doelgroep uitnodigen om zich te verdiepen in het onderzoek. Als de boodschap niet overkomt, dan neemt de kans op een goede doorwerking uiteraard snel af. Het is in de rapporten nodig een balans te vinden tussen volledigheid en relevantie. Veel onderzoekers hebben vanuit hun professionele achtergrond de neiging om een zo volledig mogelijke onderzoeksrapportage te maken. Een logisch gevolg daarvan is een dik rapport. Voor raadsleden, statenleden en parlementariërs nodigt een dik rapport niet uit tot lezen. Simpelweg omdat het een van de documenten is op een grote stapel van ander papierwerk. Hier kan rekening mee worden gehouden in de opzet van de rapportage. Communicatieadviseurs geven de aanbeveling dat een tekst ‘oprolbaar’ moet zijn. Dit betekent dat de belangrijkste informatie vooraan staat en dat toelichting en onderbouwing daarna volgen.

Op veel plekken wordt tegenwoordig papierloos vergaderd. Daar moet rekening mee worden gehouden door een rapport tablet-proof te maken. Bovendien biedt het nieuwe technische mogelijkheden, bijvoorbeeld via links of pop-up-schermen die aangeklikt kunnen worden voor extra informatie. Ten slotte is een goede presentatie van belang om de hoofdboodschap tussen de oren van de doelgroep te krijgen. Een goede presentatie wordt enthousiast gebracht, is to the point en wordt ondersteund met interessant beeldmateriaal. Een bekende valkuil is dat de onderzoeker het hele onderzoeksproces en de uitkomsten wil samenvatten in twintig sheets in tien minuten. Dat komt niet over.

Kwaliteit
De kennisbehoefte, attitude en ten dele ook de communicatie zijn factoren waarop een onderzoeker maar beperkt zelf invloed heeft. Voor de methodologische kwaliteit van het onderzoek geldt dat niet. Kwaliteit van onderzoek is een noodzakelijke, maar niet voldoende voorwaarde voor doorwerking. Al een paar fouten kunnen twijfels oproepen over de kwaliteit van het hele rapport waarna de ‘tegenstanders’ van het rapport munitie hebben om de conclusies en aanbevelingen naast zich neer te leggen. Overigens komt het voor dat ook kwalitatief slechte rapporten hun doorwerking hebben, omdat de uitkomsten nuttig voor een bepaalde partij zijn.

Beleidsonderzoekers lijken zich daarvan goed bewust. De beroepsgroep heeft een redelijk solide, soms wat saai imago. Een vaker gehoorde kritiek op bijvoorbeeld het rekenkameronderzoek is dat de uitkomsten voorspelbaar zijn en de onderwerpen niet politiek spannend. De meer algemene les die daaruit te trekken is, is dat een vernieuwende methode of aanpak kan helpen om aandacht te creëren die nodig is om de boodschap over te brengen. Een voorbeeld daarvan is om als onderzoekers samen met bewoners via een ‘buurtschouw’ het zwerfvuil op straat in beeld te laten brengen. Het is verstandig om bij de inzet van een nieuwe onderzoeksmethode de doelgroep hierover vooraf te informeren. Hoewel ze er niet over gaat, zijn er situaties geweest waarin een nieuwe methode veel weerstand opriep. Dan gaat het debat meer over de methode dan de resultaten van het onderzoek.

Timing
Een goede timing is makkelijker gezegd dan gedaan. Dat heeft te maken met de hoge dynamiek van de politieke arena in combinatie met de relatief lange doorlooptijd van onderzoek. Een onderzoek kan starten op het moment dat een onderwerp de politieke agenda domineert en eindigen op het moment dat de aandacht weg is. Daar is niet altijd goed op te plannen. Waar wel op te plannen is, is een geschikt moment van publicatie. Bijvoorbeeld dat kennis uit een onderzoek meegenomen kan worden in de ontwikkeling van een nieuw beleidsplan of als input voor een begrotingsdebat. Hier valt nog winst te halen. Anders dan bij opdrachtonderzoek, kunnen onderzoeksrapporten van onafhankelijke inspecties, adviesraden of rekenkamers voor de buitenwereld zomaar uit de lucht komen vallen. Het rapport wordt gepubliceerd als het klaar is en er wordt geen rekening mee gehouden of en hoe de publicatie past binnen het lopende bestuurlijke proces. Het is ook voor onafhankelijke onderzoeksorganisaties mogelijk om al bij het opstellen van het onderzoeksplan na te denken over het tijdstip van publicatie. Daarnaast kan overleg met de griffie helpen om het rapport op een goed moment te publiceren en te agenderen.

Een voorbeeld daarvan is het onderzoek van de Rekenkamer Oost-Nederland (2014) naar het Gelderse faunabeleid. Het rapport is gepubliceerd net voordat nieuwe faunabeheerplannen worden vastgesteld. Bovendien was het geagendeerd op een dag dat meerdere faunaonderwerpen besproken werden.

Onderwerp
De laatste factor die we bespreken is zeker niet de minst belangrijke. Het onderwerp van het onderzoek bepaalt voor een belangrijk deel de aandacht in media en politiek. En aandacht is van belang om de boodschap te kunnen overbrengen. Onderzoeken naar een politiek gevoelig thema als declaraties of een mislukt bouwproject zullen zeker aandacht krijgen. Die aandacht kan overigens voor de doorwerking ook negatief uitwerken. Als een rapport veel stof doet opwaaien, kan een rapport zo politiek gevoelig worden dat een zakelijke behandeling van het rapport niet meer mogelijk is. Partijpolitiek en het uit de wind houden van een wethouder, of juist het schaden van het zittende college, kan dan het voornaamste doel worden. Het is niet altijd mogelijk om vooraf in te schatten hoe een bepaald onderzoek zal vallen. Bij gevoelige thema’s heeft het de voorkeur om vooraf met de gemeenteraad, staten of parlement in overleg te gaan. Een breed samengestelde begeleidingscommissie kan eveneens helpen om het onderwerp minder politiek gevoelig te maken.

Grip op doorwerking
Het Backto-model kan zowel bij de voorbereiding als na de publicatie van een rapportage gebruikt worden. Door vooraf te anticiperen op de behoefte aan kennis, attitude, communicatie, kwaliteit, timing en het onderwerp kan de doorwerking van onderzoek gestimuleerd worden. De zes factoren kunnen eveneens worden gebruikt om achteraf de doorwerking van een rapport te analyseren. En het model biedt aangrijpingspunten voor een onderzoeksorganisatie (of afdeling) om te reflecteren op de eigen strategische positie ten opzichte van de doelgroep (bieden we toegevoegde waarde?).

Het Backto-model is geen theoretisch omvattend wetenschappelijk model om doorwerking volledig te beschrijven en te verklaren. Het is wel een praktisch model dat onderzoekers grip op doorwerking biedt.

Ronald Hoekstra (r.hoekstra@rekenkameroost.nl ) is bestuurskundige, senior onderzoeker bij de Rekenkamer Oost-Nederland en duo-voorzitter van de Kring Secretarissen & Onderzoekers van de Nederlandse Vereniging van Rekenkamers en Rekenkamercommissies.

Literatuur

• Bekkers, V., Fenger, M., Homburg, V., Putters, K. (2004). Doorwerking van Strategische Beleidsadvisering. Erasmus Universiteit Rotterdam / Universiteit van Tilburg.
• Korsten, A.F.A. & Van der Meer, A.D. (2014). ‘Beleidsonderzoek benutten’. Beleidsonderzoek Online, februari 2014.
• Hoekstra, R. (2013). ‘Wat is de meerwaarde van onze rekenkamer?’. Beleidsonderzoek Online, oktober 2013.
• Weiss, C. H.(1979). The many meanings of research utilization. University of Alberta.