Rekenkameronderzoek in perspectief

Het afgelopen jaar heeft de Rekenkamer Spijkenisse onderzoek gedaan naar schoolverzuim. Omdat zij in dit onderzoek nadrukkelijk het perspectief van verzuimjongeren wilde belichten, koos de rekenkamer voor een sociaal-constructivistische aanpak. Met deze aanpak wordt tegemoetgekomen aan de kritiek dat rekenkamers vooral oog zouden hebben voor de papieren werkelijkheid. In dit artikel wordt deze aanpak beschreven. Daarnaast geven de auteurs aan of de gekozen aanpak voor rekenkamers meerwaarde kan hebben.

Rekenkamers doen onderzoek naar het door het gemeentebestuur gevoerde bestuur.1 Het onderwerp en de onderzoeksaanpak mogen zij zelf bepalen. een aantal auteurs constateert dat veelal wordt gekozen voor een ‘vertrouwde’ aanpak. Deze aanpak en de kritiek hierop wordt hieronder beschreven.

Aanleiding onderzoek Spijkenisse
Toen de raad van de gemeente Spijkenisse, bij de behandeling van het onderzoeksplan 2011, de rekenkamer vroeg onderzoek te doen naar schoolverzuim en -uitval, rees de vraag op bij de rekenkamer op welke wijze een dergelijk onderzoek moest worden aangepakt. Uit een uitgebreid vooronderzoek kwam namelijk naar voren dat de aanpak die de rekenkamer normaal hanteert niet voldoende nieuwe inzichten zou opleveren. Zo kon aan de hand van de beleids- en verantwoordingsdocumenten niet worden vastgesteld of het schoolverzuim – door interveniëren van de gemeente – is teruggedrongen en uitval is tegengegaan.

De rekenkamer heeft zodoende gekozen voor een andere, sociaal-constructivistische onderzoeksaanpak. Bij deze aanpak staat het perspectief van de jongere centraal. Voor hem is de leerplicht en het beleid hier omheen immers bedoeld. Bovendien heeft alleen hij contact met alle instanties die zich met het probleem bezighouden. De uitvoerders van het beleid, zoals de leerplichtambtenaar en de verzuimcoördinator zijn in feite het scharnierpunt tussen het beleid en de praktijk. De insteek van de rekenkamer was om onderzoek te verrichten naar schoolverzuim en handhaving van de leerplicht: hoe pakken beleidsmaatregelen uit in de praktijk en welke leerpunten of structurele tekortkomingen in beleid of uitvoering zijn te onderkennen? De ‘praktijk’ als toetssteen voor het functioneren van het leerplichtbeleid.

Met de constructivistische aanpak in het achterhoofd, wil de rekenkamer de perspectieven van alle actoren in kaart brengen. Actoren bij dit specifieke onderzoek zijn leerlingen, ouders, maar ook professionals zoals docenten, verzuimcoördinatoren van scholenhulpverleners en de leerplichtambtenaren.

Iteratief verloop van het onderzoeksproces
Bij de constructivisten wordt een meer iteratief onderzoeksproces gehanteerd. D.w.z. dat de onderzoeker gedurende het onderzoek, op basis van nieuwe inzichten, stappen zal moeten herhalen of bijstellen (bijvoorbeeld een actor nogmaals interviewen, opnieuw documentenonderzoek doen, zo nodig een andere onderzoeksmethode zoals observatie toepassen), zijn of haar analyse moeten bijstellen en teksten moeten herschrijven. Hetgeen betekent dat het onderzoeksdesign een zekere mate van flexibiliteit heeft en daarmee methoden niet van te voren kunnen worden gespecificeerd, maar worden aangepast naarmate de onderzoeker lopende het onderzoek meer grip krijgt op het onderwerp. Van tevoren vastgestelde kaders m.b.t. het verzamelen van data zou de onderzoeker beperken in de mate waarin hij of zij onbevooroordeeld het betekeniskader van de onderzoeksactoren kan bestuderen.7

Figuur. Weergave iteratieve onderzoeksproces

Voor dit onderzoek, dat was gericht op het begrijpen van de huidige praktijk van leerplicht, betekende het dat tijdens het onderzoeksproces het beeld meerdere malen moest worden bijgesteld, omdat ieder gesprek met actoren leidde tot nieuwe inzichten.

Geen normenkader
In het verlengde van het sociaal-constructivisme is niet uitgegaan van een vooraf gedefinieerd normenkader (zie de paragraaf ‘Iteratief verloop van het onderzoeksproces’). Dat zou te sturend zijn geweest voor de uitvoering van het onderzoek. Het onderzoek zou dan immers zodanig zijn opgezet dat een oordeel gegeven zou moeten worden over de beleidscyclus. Het leerproces op grond van de onderzoeksbevindingen was voor de rekenkamer echter uitgangspunt en niet oordeelsvorming.

De ambtelijke organisatie en het onderzoek
Vanaf het begin was het contact met de ambtenaren (afdeling Leerplicht, beleidsambtenaren onderwijs en Jeugd, de portefeuillehouder) intensief. De rekenkamer vertelde niet alleen over het verloop van het onderzoek of vroeg informatie, maar vroeg ook om hun mening en soms medewerking.

Voor aanvang van het onderzoek is de onderzoeksopzet aan de wethouder en zijn ambtenaren voorgelegd. Aanvankelijk zag de wethouder – op basis van eerdere ervaringen met de rekenkamer – weinig brood in het onderzoek. Hij wilde niet weer als conclusie horen dat “de doelen niet SMArT-geformuleerd zouden zijn.” Toen echter bleek dat het onderzoek geen oordelend karakter had maar dat het een open dialoog voorstond, gaf de wethouder input voor mogelijke knelpunten. Zo vertelde de wethouder dat ‘snelheid’ in zijn ogen het belangrijkste middel is om schoolverzuim aan te pakken. Hij vroeg zich af of de gemeente hier voldoende in slaagt en wat mogelijke beperkingen zijn. ook zou de wethouder geholpen zou zijn met inzicht in de beweegredenen van verzuimjongeren.

Selectie van de actoren
Met de ambtenaren is geïnventariseerd welke actoren bij leerplicht zijn betrokken. Deze actoren zijn vervolgens door de rekenkamer benaderd voor een gesprek. In ieder gesprek is gevraagd met welke andere actoren, in het kader van het onderzoek, gesproken dienden te worden. op deze wijze heeft de rekenkamer getracht het perspectief van alle betrokken inzichtelijk te maken.

Selectie van de doelgroep
Om een goed beeld te krijgen van de primaire doelgroep, de leerlingen, is de verzuimregistratie over vier schooljaren integraal geanalyseerd en zijn circa dertig leerplichtdossiers bestudeerd. Uit de verzuimregistratie en de leerplichtdossiers zijn circa tien ‘exemplarische’ casussen geselecteerd en is contact gezocht met de leerlingen en hun ouders. Niet alle leerlingen die verzuimen worden echter aangemeld bij de afdeling Leerplicht. Daarom zijn via de onderwijsinstellingen ook leerlingen benaderd die niet noodzakelijkerwijs in aanraking zijn geweest met de afdeling Leerplicht. Met alle actoren is gesproken over ieders zienswijze op het leerplichtbeleid.

Tijdens het onderzoek vond een aantal maal terugkoppeling van bevindingen plaats bij de ambtenaren. Nadrukkelijk is hen gevraagd of zij het beeld herkenden en waarin zij zich eventueel niet in herkenden (member check). Deze reflecties leidde tot bijschaven van het beeld. De analyse van perspectieven en de beschouwing van de rekenkamer op schoolverzuim heeft mede door de input van het ambtelijk apparaat een kwaliteitsslag gemaakt. De consensus over de beschouwing zorgde voor draagvlak om met verbeterpunten aan de slag te gaan. Daarnaast is onderzocht in hoeverre onze bevindingen overeenkwamen met eerdere (wetenschappelijke) onder zoeken naar schooluitval en er is navraag gedaan bij deskundigen (zoals een adviseur van de Raad van de Kinderbescherming) en professionals buiten Spijkenisse.

Overbrengen en uitdragen van de onderzoeksresultaten
De analyse en de beschouwing over schoolverzuim leverden, volgens de rekenkamer, zulke relevante inzichten op dat zij de onderzoeksresultaten goed wilde overbrengen en breed wilde uitdragen. Hierbij is in het rapport gebruik gemaakt van Beeldtaal8 en Storytelling9. De rekenkamer heeft vier ‘exemplarische’ casussen geselecteerd en deze uitgewerkt in korte verhalen. Elk verhaal is gebaseerd op een feitelijke situatie en illustreert een groep jongeren met soortgelijke verhalen. Voor jongeren en andere geïnteresseerden (zoals docenten en schooldirecteuren) is een themawebsite opgezet (www.verzuiminspijkenisse.nl). Op de themawebsite wordt het perspectief van de verzuimende leerling belicht en is het volledige rapport te downloaden.10

De verschillende perspectieven in beeld
Er zijn afspraken gemaakt om de leerplichtwet te handhaven en om een jongere te helpen. Maar hoe wordt er door de verschillende actoren naar ‘leerplicht’ gekeken, ofwel, welke betekenissen geven deze actoren aan het begrip ‘leerplicht’? Voor de gemeente is dat een sluitende aanpak: “Alle jongeren zijn in beeld, ze zitten op school of in een hulpverleningstraject.” Voor veel leerlingen werkt het ‘systeem’ van de leerplichtwet en de handhaving ervan afdoende en werkt de afdeling Leerplicht als een stok achter de deur om niet te verzuimen. Dat geldt echter niet voor elke jongere. Voor een onwillige verzuimjongere was de afdeling en zijn bemoeienissen ‘bloedirritant’, ‘overtrokken’ en ‘niet echt nuttig’. Het perspectief van jongeren reikt immers nog niet zo ver, waardoor zij weinig of geen boodschap hebben aan het motto ‘zonder diploma geen leuke baan’. Ook sommige ouders zien de noodzaak van leerplicht niet in en hebben de neiging om hun kind uit de wind te houden. Zij vinden het bijvoorbeeld niet meer dan normaal dat hun kind verzuimt, omdat hij of zij binnenkort toch wil overstappen naar een andere opleiding, wat uiteindelijk niet altijd gebeurt. Voor een aantal jongeren onder de 18 jaar geldt daarom dat zij weliswaar staan ingeschreven bij een onderwijsinstelling, maar dat zij zo vaak langdurig afwezig zijn dat niet meer gesteld kan worden dat de jongere onderwijs volgt. Op dit moment is er echter geen structurele vorm van ‘nazorg’.

“Los je het ene probleem op, dan blijken andere factoren leerlingen zodanig te demotiveren, dat jongeren alsnog afhaken”, geven meerdere respondenten aan. Zowel de hulpverleners, Leerplicht als de leerlingen geven signalen af dat het de vraag is of het belang van de jongere voldoende wordt gediend. Professionals ‘worstelen’ met het systeem. Het systeem zou goed werken voor een grote groep kinderen, maar niet per se gericht zijn op het individu. Samenwerking binnen de hele keten (school, zorg, Leerplicht) is een essentiële voorwaarde bij de aanpak van verzuim. Doch, dit is niet altijd vanzelfsprekend. Uit het onderzoek wordt duidelijk dat er jongeren zijn die binnen een schooljaar wel een aantal keren verzuimen, maar uiteindelijk niet door een docent of een school worden aangemeld bij het Verzuimloket. Met andere woorden, de school of de docent ziet het verzuim door de vingers, bijvoorbeeld omdat deze kinderen de tolerantiegrens van de docent niet overschrijden. Docenten geven aan voor dilemma’s te staan bij het melden van verzuim. Is het in het belang van de leerling om hem of haar dicht op de huid te zitten of gedijt de leerling beter bij een lossere teugel?

Uit het onderzoek komt naar voren dat er een grote verscheidenheid is van individuele en maatwerkaanpakken om een leerling terug naar school te krijgen. Opvallend is echter, dat er geen informatie aanwezig is bij de gemeente en de hulpinstanties over de werking van deze aanpakken, of ervan geleerd wordt en hoeveel van deze jongeren uiteindelijk (alsnog) een startkwalificatie halen. De mensen in het werkveld zeggen over de aanpakken die er zijn: ”ieder aanbod, creëert zijn eigen vraag.” Hoewel ze positief zijn over de inzet en het werk dat door verschillende partijen wordt verricht, klinkt er ook onmacht in door. Soms zitten scholen of Leerplicht met de handen in het haar over wat ze nog voor een jongere kunnen betekenen. Het is dan zoeken naar een plekje of een instantie die met hem of haar aan de slag wil.

Bij professionals bestaat ook verschil van mening over een effectieve aanpak. Daar waar hulpverleners liever zien dat per individuele jongere een diagnose wordt gesteld van de aard van de problemen, zijn scholen meer geneigd om het schooltraject van de jongere te begeleiden. Bijvoorbeeld door leerlingen met problemen naar een lager schoolniveau te plaatsen. Dit doen zij dan op basis van de schoolprestaties. Hulpverleners daarentegen zouden liever zien dat wordt gekeken naar de herkomst van problemen en alleen als het cognitieve problemen betreft, wordt overgegaan tot het plaatsen van een leerling naar een lager niveau.

‘Leerplicht’, zo komt uit het onderzoek naar voren, is voor jongeren, ouders, docenten en hulpverleners soms een rekbaar begrip.

Onderwijs: recht of plicht?
Het onderzoek laat zien dat de leerplichtwet en de handhaving van de wet door de afdeling Leerplicht Spijkenisse zijn werk doet. Het systeem werkt goed voor een groot deel van de leerlingen en hun ouders. Het is een stok achter de deur voor jongeren om naar school te gaan. Tegelijkertijd laat het onderzoek zien dat het niet voor iedere jongere werkt. De afdeling Leerplicht is zoekende naar de beste oplossingen voor jongeren met meer ingewikkelde problemen. De rekenkamer constateert dat er jongeren ‘tussen wal en schip vallen’. In sommige gevallen stond het recht op onderwijs, dat kinderen hebben, onder druk. De rekenkamer constateert dat de huidige praktijk er nog niet uit komt hoe met complexe situaties omgegaan kan worden. Tevens laat het onderzoek zien hoe kwetsbaar jongeren zijn en zich niet zonder meer gedragen naar wat de samenleving, de wetgever, het beleid of de professional graag ziet.

Afronding
De rekenkamer heeft in haar eindrapport geen aanbevelingen geformuleerd. Dit vloeit logisch voort uit de gekozen aanpak. Immers, om tot aanpassing van het beleid te kunnen, zullen de actoren zelf een alternatieve betekenisconstructie moeten uitonderhandelen (zie kader ‘Het sociaal-constructivisme’). om dit mogelijk te maken heeft de rekenkamer wel een rondetafelbijeenkomst georganiseerd. De onderzoeksresultaten zijn januari 2013, in de openbare vergadering van de commissie Welzijn, besproken. Tijdens de rondetafelbijeenkomst waarbij, op vertegenwoordigers van scholen11 en de fracties van D66 en CU/SGP na, alle betrokken partijen aanwezig waren, zijn een aantal bruikbare aanbevelingen gedaan. onder andere op gebied van samenwerking, informatie-uitwisseling en het beleid. Met name het perspectief van de doelgroep, dat in het rapport nadrukkelijk wordt belicht, heeft tot benutting van de onderzoeksresultaten geleid.
Het college heeft laten weten dat het de conclusies herkent12 en ook onderwijsinstellingen voelen zich aangesproken13, zo wordt duidelijk uit een aantal artikelen in de lokale media.
Maart 2013 heeft de gemeenteraad van Spijkenisse het rapport en de aanbevelingen (vastgelegd in een raadsvoorstel) met algemene stemmen vastgesteld. Raadsleden spreken over een realistisch, inzichtelijk en waardevol onderzoek. Eind 2013 gaat de rekenkamer wederom met raad en wethouder in gesprek om te bezien welke stappen zijn genomen.

Wat levert deze aanpak op?
Terugkijkend op de aanpak die de rekenkamer voor dit onderzoek koos, kan allereerst vastgesteld worden dat het onderzoek heeft opgeleverd waarnaar de rekenkamer en de gemeente op zoek waren, namelijk nieuwe inzichten in een complex werkveld. Door de constructivistische aanpak kwamen alle perspectieven aan bod en werd aan ieders visie geen oordeel gehangen. Dit vergrootte de bereidheid van partijen om open en onbevooroordeeld na te denken over knelpunten en mogelijke oplossingen. Een kanttekening betreft de andere insteek van de onderzoekers. Hij of zij zal – bijvoorbeeld door het ontbreken van een voorop vastgesteld normenkader – bereid moeten zijn een deel van de controle op het verloop van het onderzoek op te geven. Bovendien zal de onderzoeker de rol van expert in moeten ruilen voor die van ‘interpretator’ en ‘facilitator’.14 Ter afsluiting kan niet onbenoemd gelaten worden dat de rekenkamer met haar onderzoeken een taak vervult binnen de checks and balances van de gemeentelijke overheid. Juist over de invulling van deze taak door de rekenkamer is, zoals in het begin van dit artikel genoemd, veelvuldig kritiek. Opzet was om aan de hand van een andere aanpak tegemoet te komen aan de veelal uit rekenkamerland zelf geconstateerde onvrede over rekenkameronderzoek.

Drs. Daan Massie is vanaf 2003 werkzaam als onderzoeker. Sinds 2010 is hij tevens voorzitter van de rekenkamercommissie Drimmelen en lid van de Rekenkamer Spijkenisse.
Mevr. Eline Vree is zelfstandig publicist en werkzaam voor onderzoeksbureau Twaalf. Tevens is ze voorzitter van de rekenkamercommissie Goeree-Overflakkee.

Noten
1 Artikel 182 lid 1 Gemeentewet.
2 Handreiking onderzoek lokale rekenkamers & rekenkamercommissies, Nederlandse Vereniging van Rekenkamers en Rekenkamercommissies (januari 2008). In haar handreiking stelt de NVRR nadrukkelijk dat rekenkameronderzoek zich kenmerkt door een beoordeling van de feiten aan de hand van een uitgewerkt normenkader.
3 In ‘Evaluation Research: Methods of Assessing Program Effectiveness’ constateert Weiss dat beleidsdoelen vaak ambigue zijn. Zij betoogt dat deze ambiguïteit een functie heeft. Het kan onderliggende divergentie van bedoelingen maskeren. Weiss draagt een viertal strategieën aan. Een onderzoeker zou bijvoorbeeld de vraag naar doelen kunnen omzeilen door een meer exploratief onderzoek te doen (American Journal of Evaluation, June 1996).
4 ‘Rekenkamers hinken op twee gedachten’, P. Praat en M. Daamen, juli/augustus 2010. Tijdschrift B&G.
5 ‘De taakinvulling door de rekenkamer’, P.O. De Jong, 2012. Site stichting voor beleidsanalyse en bestuursondersteuning.
6 F. Bongers, P. en Hertog, Vernieuwing van methoden voor beleidsevaluatie, 2007.
7 Social research Methods 4e ed., Alan Bryman, 2012 en Interpretive Research Design, concepts and processes, P. Schwartz-Shea & D. Yanow, 2012.
8 Beeldtaal is een taalachtige constructie, waarbij beelden en beeldelementen communicatie mogelijk maken. Beelden en de interpretatie ervan zijn, net als geschreven of gesproken taal, tijd- en cultuurgebonden.
9 Bij Storytelling wordt de boodschap aan de hand van een of enkele illustratieve verhalen overgebracht. Storytelling is een manier om ‘kennis’ te ordenen, over te dragen en te begrijpen. Door te kiezen voor een verhaal, wordt de lezer direct aangesproken. Dit moet de lezer in beweging brengen en aanzetten tot actie.
10 Tussen januari en juni 2013 is de site 800 maal bezocht en is het rapport 340 maal gedownload.
11 De rekenkamer wilde ook schooldirecteuren uitnodigen voor de rondetafelbijeenkomst. Om organisatorische redenen is hier van afgezien. Gedurende de bijeenkomst wees een van de aanwezigen de rekenkamer er – terecht – op, dat “het geluid van de scholen niet wordt gehoord.”
12 In de bestuurlijke reactie schrijft het college dat het ’t als een uitdaging ziet om het systeem te optimaliseren en de door de rekenkamer gesignaleerde knelpunten en dilemma’s daarbij als leidraad dienen.
13 Zie bijvoorbeeld ‘Beter afstemmen’, Weekkrant De Botlek 1, 9 januari 2013. In dit artikelen komt de algemeen directeur van het PENTA college (een brede scholengemeenschap in de regio) aan het woord. Hij onderschrijft de conclusies van de rekenkamer en geeft aan “binnenkort met de gemeente en diverse instanties om de tafel te gaan zitten om het systeem te verbeteren.”
14 Responsieve methodologie, p. 46 van T.A. Abma en G.A.M Widdershoven, 2006.