De zin van onderzoek naar subsidies

Gemeentelijke rekenkamercommissies richten hun onderzoek veelal op subsidieverlening. De uitkomsten van deze onderzoeken vertonen opvallend veel overeenkomsten, wat bij ons vragen opriep. Wij vergeleken in tien rapporten1 de aanleiding, probleemstelling, aanpak, uitkomsten en aanbevelingen van het onderzoek. Zijn er rode draden in deze aspecten te ontdekken, waar kan het onderzoek toe leiden, heeft het zin? Op deze vragen proberen we hier een antwoord te geven. We sluiten af met enkele aanbevelingen voor toekomstig onderzoek. Onze invalshoek is de zin van onderzoek. Omdat wij daarop ingaan vanuit het voorbeeld van de subsidieverlening, levert deze blik ook een beeld op van de zin van (budget)-subsidiëring.

Wij zijn in alle rapporten nagegaan of er een aanleiding was geformuleerd. Aan elk onderzoek gaat immers een onderwerpskeuze vooraf. Het onderzoek heeft een specifieke aanleiding of het maakt deel uit van een onderzoeksplan of jaarprogramma. Uit de meeste rapporten blijkt dat er geen specifieke aanleiding was voor het onderzoek. Twee onderzoeken vormen daarop een uitzondering; deze werden ingesteld naar aanleiding van problemen bij een welzijnsstichting. Eén onderzoek werd op verzoek van een raad uitgevoerd, omdat deze behoefte had aan inzicht in de resultaten van de subsidieverstrekking.
In de meeste gevallen treffen we onder het kopje 'Aanleiding' algemeen geformuleerde onderbouwingen aan van de  keuze voor het onderzoeksonderwerp, zoals het financieel en maatschappelijk belang. Er wordt dan op gewezen dat subsidies een belangrijk instrument zijn voor het bereiken van gemeentelijke doelstellingen. Dat subsidies ook voor maatschappelijke instellingen vaak een essentieel middel zijn om hun doelen te verwezenlijken, wordt in één rapport vermeld.
Een andere reden die vaak wordt aangevoerd is het belang van het naleven van regels en subsidieprocedures. In een enkel geval wordt daarbij gewezen op de daaruit voortvloeiende rechtszekerheid voor subsidieaanvragers. Ten slotte wordt als argument aangevoerd dat subsidieverstrekking een instrument is waarbij het lokale bestuur een relatief sterke eigen autonomie kent.

Probleemstelling
In de meeste rapporten is de probleemstelling voor het onderzoek, de vraag 'wat we te weten willen komen', expliciet verwoord. Doelstellingen voor het onderzoek, 'wat willen we met het onderzoek bereiken', zijn we minder vaak tegengekomen. Soms staat er kortweg dat het onderzoek 'leren en verbeteren' als doel heeft. De probleemstelling betreft in de meeste gevallen de vraag naar de doelmatigheid en doeltreffendheid van de subsidieverlening. Wat opvalt is dat bij de nadere uitwerking in onderzoeksvragen de doelmatigheids- en doeltreffendheidsvraag wordt 'vervangen' door vragen over outputsturing. Het onderzoek geeft daarmee geen antwoord meer op de vraag 'is de subsidieverlening doelmatig en doeltreffend?' maar op de vraag 'voldoet de subsidieverlening aan de uitgangspunten van budgetsubsidiëring?' Sturen op output lijkt zo een doel op zich - als je dat maar doet, komt het goed!

Procedures en instrumenten
Door de formulering van de probleemstelling is in veel gevallen een bepaalde systeembenadering al ingebakken. De probleemstelling wordt dan bijna vanzelfsprekend in een aantal op procedures en instrumenten gerichte onderzoeksvragen vertaald. Vragen zoals 'wat gebeurt er werkelijk in de praktijk van het welzijnswerk?' en 'wat levert dat op en is dat wat we willen?' staan dan niet centraal, maar vragen zoals 'hoe zit het met de kaderstelling door de raad, met de kwaliteit van de doelstellingen, de kwaliteit van de omschreven prestaties en de procedures voor verslaglegging en verantwoording?' Dit soort onderzoeksvragen gaat uit van de 'producten' die binnen het systeem van subsidieverlening kunnen worden geleverd, zoals geformuleerde doelstellingen en afspraken in beschikkingen. Rationeel gezien klopt het allemaal als een bus, maar het geeft een instrumentele en steriele indruk. Als lezer van zo'n onderzoeksrapport heb je vaak niet het idee dat het over publieke dienstverlening of over een probleem gaat: wat je leest is abstract, het raakt je niet en zet je niet aan het denken.

Bij één onderzoek dat plaatsvond naar aanleiding van problemen bij een welzijnsstichting, richtte de probleemstelling zich op de mogelijkheden van de raad en het college om de uitvoering van het subsidiebeleid te beheersen. Letterlijk: "Is het instrumentarium dat het college/gemeentebestuur ter beschikking heeft om de rechtmatigheid en kwaliteit van het financiële beheer, de continuïteit en doelmatigheid van de bedrijfsvoering van de gesubsidieerde instellingen te waarborgen en waar nodig te bevorderen, toereikend én is dit instrumentarium op de juiste wijze benut?" Bij het andere onderzoek dat ook om deze reden was ingesteld, bevatte de probleemstelling de vraag naar de invulling van de rollen van de raad, het college en de ambtelijke organisatie: "Hoe heeft het gemeentelijk bestuur, zowel raad, college als ambtenaren, in relatie tot dat leader zijn bestuurlijke rol ingevuld in deze casus, zowel in het fusieproces als in de uitvoering van het subsidiebeleid?" Alleen al door hun formidabele lengte vinden wij ook deze vragen niet vrij van instrumentele trekjes, al zijn ze wel meer sprekend omdat er blijkbaar een probleem aan de orde is.

Aanpak
Tijdens de meeste onderzoeken werden documenten bestudeerd, zoals de subsidieverordening en beleidsnota's. Daarnaast vond dossieronderzoek plaats, waarbij de afspraken in de subsidiebeschikkingen werden beoordeeld. Ook werden gesprekken gevoerd met ambtenaren om het subsidieproces in beeld te krijgen.
Het dossieronderzoek riep bij ons soms vragen op vanwege het geringe aantal geanalyseerde dossiers in verhouding tot de hoeveelheid afgegeven subsidiebeschikkingen. Bij een van de onderzoeken had de rekenkamercommissie bijzondere aandacht voor de rol van de raad bij de beleidsbepaling. Zij hield hierover een enquête onder en interviews met raadsleden. 

Eén aanpak viel ons op door de interactieve wijze waarop de rekenkamer-commissie vorm had gegeven aan het. onderzoek. Een vooronderzoek in 2003 had uitgewezen dat de gemeente een start had gemaakt met productfinanciering, maar dat er nog geen meetbare doelen en prestaties waren geformuleerd. Daaruit trok de rekenkamer de conclusie dat er onvoldoende basis was voor een onderzoek naar doelmatigheid en doeltreffendheid.2 Vervolgens inventariseerde de rekenkamer welke vragen er bij de raad leefden. Uit de reacties bleek dat de raad worstelde met zijn kaderstellende taak na invoering van de dualisering (sturen op hoofdlijnen en vinger aan de pols houden). In het onderzoek is daarna een werkconferentie georganiseerd met alle betrokkenen, onder wie een aantal raadsleden.

Normen
De meeste rapporten benoemen vooraf expliciet de normen waaraan wordt getoetst. Vaak zijn die normen afgeleid van het zogenaamde BGF-model, zoals beschreven in het in 1988 verschenen boek Beleidsgestuurde Contractfinaniering.3 Het BCF-model is oorspronkelijk ontwikkeld als een routeplan voor gemeenten om op outputsturing van subsidies over te gaan. In dit model worden verschillende stappen in het subsidieproces onderscheiden en wordt, de gewenste rol van de verschillende partijen (overheid en maatschappelijke organisaties) binnen de opzet van dat proces beschreven. Een opvallende norm uit dit model is: "Uitvoerende instellingen zijn zelf verantwoordelijk voor hun bedrijfsvoering, de gemeente moet zich daar niet mee bemoeien. De gemeente en instellingen maken alleen afspraken over de te behalen prestaties en de bijbehorende subsidie; de gemeente gaat niet op de stoel van bestuur of directie van de gesubsidieerde instelling zitten." Of deze norm kan worden gehanteerd hangt volgens het model wel af van het vervullen van een andere norm: "De gemeente maakt afspraken over prestaties en kosten per prestatie." Dit betekent dat de gemeente zich wel met de bedrijfsvoering bemoeit, zolang de relatie tussen kosten en prestaties niet duidelijk is. Volgens het BCF-model mag de gemeente eisen stellen aan het kwaliteitszorgsysteem en moet de gemeente toezien op het op orde krijgen van de bedrijfsvoering, zolang deze tekortschiet. Volgens ons betekent 'op orde' dan dat is voldaan aan de BGF-normen. De paradox is hier dat de meeste instellingen 17 jaar na de introductie van het model nog lang niet aan de condities ervan voldoen. Voor gemeenten geldt hetzelfde. Het model lijkt hierdoor echter niet aan populariteit te verliezen, niet bij de gemeenten zelf en blijkbaar ook niet bij onderzoekers.

Vaak wordt een overkoepelende norm gebruikt, die niet altijd wordt geëxpliciteerd, namelijk dat budgetsubsidie hét instrument is om op hoofdlijnen te sturen. Dit wekt meer dan alleen de suggestie dat budgetsubsidiëring een onontkoombare stap is voor de uitwerking van de kaderstellende rol van de raad.

Subsidieontvangers 
Behalve in de meer of minder expliciete manier waarop een 'BCF-analyse' wordt uitgevoerd, onderscheidt de aanpak van de onderzoeken zich in het wel of niet betrekken van ervaringen van subsidieontvangers in het onderzoek.

In één onderzoek werd de effectiviteit en de efficiency van de uitvoering bij de instellingen onderzocht. Daarbij werd gekeken naar de kwaliteit van de samenwerking, de manier waarop medewerkers van instellingen ondersteund werden in hun werk en de tevredenheid van klanten.

Wij maken een onderscheid tussen inhoudelijke en zakelijk-technische normen. De inhoudelijke normen gaan over wat de gemeente wil, de zakelijk-technische normen betreffen de concretisering in het proces van subsidieverlening. Deze zakelijk-technische normen overheersen meestal in de aangetroffen normenkaders. Dit wijst op een instrumentele manier om tegen de subsidieverlening aan te kijken. Beleidsdoelen moeten "SMART zijn, prestaties moeten op het hoogst mogelijke resultaatsniveau omschreven zijn, er moeten heldere afspraken zijn gemaakt over financiële en inhoudelijke voortgangrapportages.”4 
Al met al is onze indruk dat de onderzoeken vooral gericht zijn op de kwaliteit van de procedures en instrumenten en dat het vooral te doen is om toetsing aan een soort ideaal model van outputsturing. Dat maakt de uitkomsten voorspelbaar, evenals de aanbevelingen. Slechts enkele rapporten of onderdelen van rapporten vormen hierop een uitzondering.

Uitkomsten en aanbevelingen 
De conclusies van de onderzoeken vertonen veel overeenkomsten. In bijna elk rapport wordt de conclusie getrokken dat in de betreffende gemeente de budgetsubsidiëring niet werkt zoals deze volgens het boekje (het BCF-model) zou moeten werken, want: 

• de raad stelt geen of onduidelijke doelen; 
• de beleidsdoelen worden nog onvoldoende in gewenste maatschappelijke effecten vertaald; 
• het college/de ambtelijke organisatie heeft geen heldere relatie gelegd tussen de beoogde resultaten van de subsidieverstrekking en de gewenste maatschappelijke effecten; 
• de prestatieafspraken met instellingen zijn onvoldoende concreet en er is geen duidelijke relatie met de te bereiken doelstellingen; 
• de controle op de prestaties van instellingen wordt onvoldoende uitgevoerd;  
• er is geen inzicht in de mate waarin de uitvoering van de prestaties heeft bijgedragen aan de doelstellingen.

Niet alleen blijken de basiskenmerken van budgetsubsidiëring onvoldoende uit de verf te komen, ook het bijbehorende proces blijkt in de meeste gemeenten niet volgens het boekje te verlopen: 

• procedures worden niet nageleefd;
• beschikkingen worden veel te laat  afgegeven;
• instellingen dienen aanvragen en verantwoordingsdocumenten veel te laat in; 
• de gemeente ziet niet structureel toe op de naleving van subsidiebepalingen; 
• de raad heeft niet geformuleerd hoe hij over uitvoering en resultaat van subsidiebeleid wil worden geïnformeerd; 
• de gemeente koppelt niet terug naar instellingen naar aanleiding van (tussentijdse) rapportages.

Kortom, concluderen veel rekenkamer-commissies, de gemeenten moeten veel zakelijker gaan werken.

Weinig inzicht
Wij constateren dat in veel gemeenten het besluit om met budgetsubsidie te gaan werken al dateert van rond 1988. In de onderzoeksrapporten wordt vaak geconcludeerd dat er geen implementatieplan is geweest en dat de gevolgen van de invoering van de subsidiesystematiek door de gemeente zijn onderschat. Instellingen hebben in de meeste gevallen de omslag naar een productbegroting niet gemaakt en de gemeente heeft hier onvoldoende op toegezien. Over het geheel genomen is er zowel bij subsidieaanvragers als bij de gemeente nog weinig inzicht in de relatie tussen prestaties en kosten. Op de vraag naar de achterliggende oorzaken van dit alles wordt niet ingegaan. Ook blijkt niet of de geschetste tekortkomingen als ernstig moeten worden bestempeld. Omdat meestal niets wordt vermeld over hoe het er inhoudelijk aan toe gaat (Wordt het werk goed gedaan? Wordt er wel of niet zorgvuldig met geld omgegaan? Zijn de klanten tevreden? Zien de medewerkers van de instellingen hun werk wel zitten?), blijft de lezer met grote vraagtekens zitten.

Bedacht moet worden dat de tekortkomingen in de procedurele en instrumentele sfeer nog niets zeggen over de waardering voor de gesubsidieerde voorzieningen en de maatschappelijke effecten ervan. In slechts één onderzoek werd de tevredenheid van de afnemers en partners van de instellingen onderzocht. Hieruit bleek dat deze tevreden waren over de deskundigheid, kwaliteit en efficiency bij de betrokken instellingen en de effectiviteit van de aangeboden diensten.

Verslechterde relaties
Het viel ons op dat uit de enkele onderzoeken die ingaan op de ervaringen Van subsidieontvangers blijkt dat de relatie van de gemeente met de subsidieontvangers door de invoering van budgetsubsidiëring is verslechterd. Instellingen ervaren de gemeente als een opdrachtgever die zelf eigenlijk niet weet hoe het werkt, geen visie heeft en de eigen organisatie niet pp orde heeft. Daarbij houden gemeenten zich vaak niet aan de eigen procedures, maar blijven zij wel eisen stellen aan de subsidieontvangers. Subsidieontvangers vinden nogal eens dat de gemeente weinig gebruikmaakt van hun kennis en ervaring ten behoeve van de beleidsvorming en de prestatieafspraken. 

De afrekening van de subsidies leidt ook vaak tot een verslechtering in de verhoudingen. Er wordt niet afgerekend op basis van daadwerkelijk geleverde prestaties, maar aan de hand van een jaarlijks te indexeren bedrag. Dat bedrag is niet meer en niet minder dan het door de jaren heen opgehoogde bedrag dat de gemeente toekende onder het regime van inputfinanciering. In feite is er dus geen sprake van outputbudgettering (budget is 'hoeveelheid producten' maal 'prijs per product'), maar van een lumpsumvergoeding voor een pakket aan producten. Daarbij blijkt de indexering vaak achter te blijven bij de werkelijke verhogingen van de personeelslasten als gevolg van CAO-afspraken. De gemeenten gaan in de meeste gevallen niet in op de signalen van instellingen dat hierdoor financiële problemen ontstaan. De gemeenten blijven van de instellingen meestal dezelfde prestaties verlangen, terwijl de financiële middelen relatief gezien jaarlijks afnemen. Dit roept wrevel op.

In een aantal gevallen is sprake geweest van fusies van gesubsidieerde stichtingen, waarbij het fusieproces samenviel met de invoering van budgetsubsidiëring. Dit heeft altijd tot grote problemen geleid, die ook grote financiële gevolgen hadden. Uit de conclusies blijkt dat gemeenten vanwege de outputsturing lang hebben gewacht om zich met de bedrijfsvoering van de instellingen te bemoeien. Uit de conclusies maken wij ook op dat de meeste rekenkamercommissies de inmenging van een gemeente met de bedrijfsvoering van een instelling afwijzen, indien een gemeente voor outputsturing heeft gekozen. Dat vinden wij opmerkelijk omdat toch niet de sturingsfilosofie de maat der dingen zou moeten zijn, maar het al dan niet doelmatig of doeltreffend omgaan met middelen.

Onzes inziens zijn de aanbevelingen in de meeste gevallen niet méér dan het spiegelbeeld van de kritische opmerkingen. Ze vullen het gat tussen de instrumentele en procedurele werkelijkheid zoals die door de onderzoekers is aangetroffen en zoals die volgens het model zou moeten zijn. In veel gevallen wordt een zeer groot aantal aanbevelingen opgesomd, zonder dat helder wordt hoe nu met de aanbevelingen aan de slag zou moeten worden gegaan (waar beginnen, welke volgorde, enzovoort). Het beeld is dat het goed zal gaan als je alles doet zoals het idealiter moet. Dit kan ons als lezer niet echt overtuigen: waarom zou een model dat na 17 jaar nog niet werkt, nu wel gaan werken? Welke lezer voelt zich hiermee geholpen?

Zinvol onderzoek?
Wij komen tot de conclusie dat de rekenkameronderzoeken naar subsidies veel te veel over procedures en instrumenten gaan, wat in onze ogen niet erg zinvol is. Doel van onderzoek moet inderdaad leren en verbeteren zijn. Leren doe je volgens ons veel meer van de echte praktijk (verhalen over wat daar gebeurt) dan aan de hand van uitsluitend academische en droge opsommingen over hoe het procedureel en instrumenteel allemaal moet. Raadsleden zullen zich inzetten voor verbeteringen als zij voelen dat zij een probleem hebben. Problemen van procedurele en instrumentele aard zullen hen veel minder raken dan inhoudelijke problemen. Dit betekent niet dat het modelmatige onderzoek maar achterwege moet blijven, integendeel, het gaat om het vinden van een goed evenwicht. Wij denken echter dat onderzoek veel meer effect zal opleveren als het de onderzoeker er om te doen is inzicht in de praktijk te geven en te doorgronden hoe het nu werkelijk allemaal in elkaar steekt. Er ontstaat een interactief proces als de vragen vooral worden gesteld op basis van waarnemingen van de werkelijkheid en niet aan de hand van een model. Een effectief onderzoeksproces zet voortdurend aan het denken en roept nieuwe vragen en nieuwe vormen van onderzoek op: raadsleden die voor een onderzoek naar wijkactiviteiten vrijwilligers enquêteren over effecten van deze activiteiten, rekenkamers die bijeenkomsten met bewoners organiseren om ervaringen over veiligheidsmaatregelen in de buurt te verzamelen, enzovoort. Het effect van het onderzoek zit dan vooral in het onderzoeksproces en in de betrokkenheid van diverse partijen bij het resultaat daarvan. De zin van onderzoek hangt af van deze betrokkenheid die daarom dan ook, in onze ogen, altijd een belangrijke norm zou; moeten zijn. Heeft de public controller hier een rol bij? Wij denken van wei, zowel direct, omdat hij zelf ook onderzoeker is, als indirect, omdat hij in onderzoek door anderen altijd 'partij' is.

Drs. A. Corzilius en drs. U.F. Dolmans zijn onderzoekers bij Jacques Necker BV. Beiden waren voorheen geruime tijd werkzaam bij de Algemene Rekenkamer.

Noten
1 Het gaat om onderzoek dat is verricht in de periode 2003-heden. Het betreft de gemeenten Alkmaar, Amersfoort, Beverwijk, Den Haag, Enschede, Leiderdorp, Maassluis, Uden, Velzen en Zwijndrecht De rapporten zijn te vinden op www.delokalerekenkamer.nl. 
2 Dit is een opvallende stelling, die we overigens meer tegenkomen. Kennelijk leeft de gedachte datje geen onderzoek kunt doen naar effecten als er geen meetbaar doel is, terwijl toch van elke activiteit na te gaan moet zijn wat deze feitelijk ais effect heeft, ongeacht de aanwezigheid van een expliciet doel. 
3 G.H.M. v.d. Linden en J. Th. Sluiter (Stade Advies), Beleidsgestuurde Contractfinanciering; Een praktijkgerichte handleiding voor welzijnsorganisaties en overheden, verschenen In de reeks 'Ondernemen In sociaal beleid' van VOG en VWS. Den Haag 1988.  Een vervolg hierop is: J. Sluiter en J. Vermeulen (Stade Advies), Sturen op beleid en maatschappelijk ondernemen. Beleidsgestuurde contractfinanciering, een systematiek voor modernisering van de subsidierelatie tussen overheden en maatschappelijke ondernemingen, in opdracht van het ministerie van VWS, MO groep. Den Haag 2003.
4 Rapport Evaluatie van het subsidiebeleid In de Gemeente Alkmaar, Rekenkamercommissie Gemeente Alkmaar.