Effectmeting bij Museum Boijmans Van Beuningen

Financiële ontwikkelingen in combinatie met de economische recessie waren bij de museumdirectie Museum Boijmans Van Beuningen aanleiding voor een strategische heroriëntatie. Om te weten of de wijziging van de tentoonstellingsopzet succesvol was, heeft het museum een model ontworpen dat inzicht geeft in de effectiviteit ervan in combinatie met een scenarioanalyse. In dit artikel wordt beschreven hoe het model bij Museum Boijmans Van Beuningen is opgezet en toegepast.

De gemeente Rotterdam bezuinigde in 2012 en 2013 € 0,8 miljoen op het jaarlijkse subsidie van Museum Boijmans Van Beuningen. Deze ingreep kwam bovenop het nauwelijks verkrijgen van inflatiecorrecties van de subsidie sinds de verzelfstandiging van het museum in 2006. Deze ontwikkelingen in combinatie met de economische recessie waren bij de museumdirectie aanleiding voor een strategische heroriëntatie voor de subsidieperiode 2013- 2016. Die heroriëntatie bestond naast bezuinigingen uit maatregelen om de inkomsten te vergroten onder andere door met een gewijzigde tentoonstellingsopzet meer bezoekers te trekken. Door vanaf 2013 elk jaar minstens één grote publiekstrekkende tentoonstelling (populair gezegd ‘blockbuster’) te maken moet een substantieel deel van de inkomstenvergroting worden verdiend.
Om te weten of deze wijziging van de tentoonstellingsopzet succesvol was, heeft het museum een model ontworpen dat inzicht geeft in de effectiviteit ervan door het meten van output en outcome. Echter door die te meten zou pas tijdens of na het uitvoeren van activiteiten duidelijk worden of het tentoonstellingsprogramma effectief was. Om al ex ante de effectiviteit te kunnen bepalen zodat tijdig kan worden bijgestuurd, is de scenarioanalyse toegevoegd aan het model.
In dit artikel wordt beschreven hoe het model bij Museum Boijmans Van Beuningen is opgezet en toegepast.

Het ontwerpen van indicatoren om effectiviteit te meten

De tentoonstellingsstrategie
Om voor Museum Boijmans Van Beuningen een model op te kunnen zetten dat de effectiviteit van het tentoonstellingsprogramma voor 2013-2016 meet, is eerst het begrip effectiviteit gedefinieerd als de mate waarin vooraf gestelde doelstellingen gehaald zullen worden (Etzioni, 1960, blz. 258). Voor deze definitie is gekozen omdat conform de oprichtingsstatuten het bestaansrecht van het museum gebaseerd is op het halen van doelen.
De effectiviteitsindicatoren zijn vervolgens opgesteld door een strategisch proces te doorlopen van missie via strategie naar doelstellingen en activiteiten met bijbehorende outcome- respectievelijk outputindicatoren (De Waal, 2007, blz. 85-86, 99). Niet alleen de missie, maar ook de uitgangspunten voor cultuur van de gemeente Rotterdam boden aanknopingspunten voor de tentoonstellingsstrategie. Die strategie houdt in om met kwalitatief hoogstaande tentoonstellingen veel publiek naar het museum trekken en dat een onvergetelijke kijkervaring te bieden. Hiermee wordt bijgedragen aan een levendige binnenstad en het zorgt voor extra inkomsten. Om deze strategie uit te kunnen voeren wordt het tentoonstellingsprogramma als volgt opgezet:

• Jaarlijks wordt minimaal één grote, publiekstrekkende tentoonstelling (blockbuster) georganiseerd.
• Per jaar worden daarnaast 20 tot 25 grote, middelgrote en kleine tentoonstellingen georganiseerd.
  
  

Doelstellingen van het tentoonstellingsprogramma
De tentoonstellingsstrategie is uitgewerkt in kwaliteits- en publieksdoelstellingen. De doelstellingen zijn SMART1 geformuleerd. Bij kwaliteit gaat het erom dat tentoonstellingen kunsthistorisch verantwoord, toonaangevend en gevarieerd zijn en dat ze gemaakt worden door een gedreven team. Bij publiek gaat het om de beleving, het bereik en de inkomsten.

Kwaliteitsdoelstellingen
Om de kwaliteit van het programma te kunnen meten, kijkt het museum naar de recensies in de vak- en dagbladen. Het museum ambieert dat de grootste tentoonstellingen positief besproken worden. Verder wordt het belangrijk gevonden dat gemiddeld minstens één tentoonstelling per jaar van het museum wordt overgenomen door een buitenlandse instelling en dat veel bruiklenen aangevraagd worden door Nederlandse en buitenlandse musea. Bruikleenverkeer is gebaseerd op wederkerigheid, wat betekent dat bij veel aanvragen het museum tegenbruiklenen kan vragen voor zijn tentoonstellingen. De gedrevenheid van het team wordt afgelezen uit het ziekteverzuim en de periode dat werknemers in dienst zijn.
Bij de gemeten resultaten wordt op de context gelet om verkeerde uitleg van de getallen te voorkomen. Zo kan een hoog verzuimpercentage liggen aan hoge werkdruk of demotivatie, maar net zo goed aan enkele gevallen van ernstige ziekte. En bij bijvoorbeeld toonaangevendheid van de tentoonstellingen wordt niet alleen op recensies afgegaan, maar ook op de professionaliteit van de eigen staf. Die merkt aan reacties binnen het netwerk hoe tentoonstellingen gewaardeerd worden.

Publieksdoelstellingen
Het museum is er voor iedereen. Daarom zijn voor het publieksbereik de bezoekersaantallen aan het museum en aan de blockbustertentoonstelling als doelstellingen opgenomen.
Bij het meten van de publieksbeleving wordt de Net Promotor Score2 gebruikt en het cijfer dat het publiek geeft aan de blockbuster. Verder geeft de mate waarin bezoekers gebruik maken van de geboden services zoals winkel en horeca aan hoe de totale beleving is van de bezoeker.
Voor de inkomstenvergroting zijn omzet- en fondsenwervingsdoelstellingen geformuleerd. Ook de bestedingsimpuls van museumbezoekers in de stad is een belangrijke graadmeter. Met deze beide doelstellingen draagt het museum ook bij aan de Rotterdamse uitgangspunten voor cultuur, waarbij cultureel ondernemerschap en de levendige binnenstad centraal staan.

Activiteiten en output
Om de tentoonstellingsdoelstellingen te kunnen halen onderneemt het museum activiteiten. Deze activiteiten resulteren in producten en/of diensten (output) die zullen leiden tot effecten (outcome).

Om een gevarieerd programma te bieden vormt de eigen collectie de basis voor de 20 tot 25 tentoonstellingen en de blockbuster. Zo zijn er tentoonstellingen die bestaan uit oude kunst, klassiek-moderne kunst, hedendaagse kunst, mode of design.
Bij het tentoonstellingsprogramma wordt een heel pakket aan onderliggende activiteiten ontwikkeld zoals museumlessen, rondleidingen, tours voor de smartphone, themadagen, lezingen en symposia. Ook verschijnen catalogi en brochures en wordt een heel marketing- en communicatieprogramma bij de tentoonstellingen gemaakt.

Aldus is bij Museum Boijmans Van Beuningen via missie, strategie en doelstellingen bepaald welke en hoeveel activiteiten worden ondernomen, waaruit volgt welke en hoeveel output daarmee gerealiseerd zal moeten worden om effectief te zijn en de vereiste outcome te realiseren.

Het opzetten van een scenarioanalyse
Door indicatoren op te stellen via bovengenoemde stappen kan de indruk ontstaan dat de outcome alleen bepaald wordt door wat een organisatie zelf doet. Dat is niet zo, ook de omgeving van een organisatie heeft invloed op de effecten. Zo zal een museumbezoeker de keuze voor een museumbezoek niet alleen laten afhangen van toonaangevende en inspirerende tentoonstellingen, maar ook van het weer of van zijn portemonnee. Bij zonnig weer prefereert de bezoeker misschien een theaterfestival in de open lucht of het strand en bij economische malaise kan hij zich misschien geen museumbezoek veroorloven.
Dergelijke omgevingsontwikkelingen hebben dus invloed op de effecten, terwijl de organisatie er zelf geen invloed op heeft.

Bij effectmeting zijn er twee manieren om met de omgeving om te gaan: of de resultaten worden gecorrigeerd voor omgevingsfactoren of het museum houdt er rekening mee. Er is voor dat laatste gekozen, want in de praktijk zal het museum beoordeeld worden op de totale effectiviteit. Een belangrijk pluspunt daarbij is dat dan van tevoren al nagedacht moet worden over mogelijke toekomstige omgevingen (scenario’s) en de invloed daarvan op de effectiviteit van het tentoonstellingsprogramma. De toekomstige omgeving is door het museum in kaart gebracht met de methode van de scenarioanalyse. Daarvoor is gebruik gemaakt van de theorie over scenario’s zoals beschreven door Kees van der Heijden in Scenario’s, the art of strategic conversation. Bij deze methode zijn door het museum vier extreme doch realistische scenario’s ontworpen die geconfronteerd zijn met de tentoonstellingsstrategie. Er waren daarbij drie uitkomsten mogelijk: de strategie houdt stand, de strategie voldoet in zekere mate of de strategie houdt geen stand. In het eerste geval kan de strategie worden uitgevoerd, de daarbij opgestelde doelstellingen zijn realistisch. In het tweede geval is dat ook zo, maar mogelijk moet de strategie worden aangepast om de doelstellingen te kunnen halen.
In het derde geval moet van de strategie af worden gezien en moet een nieuwe strategie met bijbehorende doelstellingen worden ontwikkeld die de organisatie wel toekomstbestendig maakt.

Scenario’s ontwerpen
Hoe zijn de scenario’s ontworpen? Eerst is de toekomstige omgeving van het museum in kaart gebracht. Dat is gedaan door toekomstige omgevingsontwikkelingen met positieve, dan wel negatieve invloed op het museum te benoemen. Deze zijn daarna verdeeld in zekere en onzekere ontwikkelingen. Door vervolgens van de onzekere ontwikkelingen de twee meest invloedrijke te selecteren en daarvan de uitersten telkens te combineren ontstaan vier extreme, maar nog wel realistische scenario’s die de toekomstige omgeving van de organisatie in kaart brengen. De zekere ontwikkelingen vormen samen een verhaal dat in elk scenario dezelfde rol speelt, de onzekere ontwikkelingen komen ieder afzonderlijk in één scenario voor en geven zo de toon per scenario aan. Deze methode kan alleen toegepast worden als twee onzekere ontwikkelingen qua invloed duidelijk boven de andere uitsteken. Anders moeten meer scenario’s worden ontwikkeld (Van der Heijden, 2005, blz. 95, 243-245).

De ontworpen scenario’s en de confrontatie met de tentoonstellingsstrategie
Bij Museum Boijmans Van Beuningen hoefde dat niet. De onzekere ontwikkelingen zijn gevonden binnen de thema’s overheid, economie en klimaat, waarbij verwacht werd dat overheid en economie verreweg de belangrijkste onzekere factoren zouden zijn voor het museum. Bij de overheid gaat het erom of die verder zal terugtreden of dat een ommekeer plaatsvindt en bij de economie of die de komende vijftien jaar groeit of krimpt.
Door een assenstelsel te maken met de omgevingsfactoren overheid en economie ieder op een as, ontstaan vier scenario’s: economische voorspoed met een aanwezige respectievelijk een terugtredende overheid en economische neergang met een aanwezige respectievelijk een terugtredende overheid.

De zekere omgevingsontwikkelingen zijn gevonden binnen de thema’s ‘mens en samenleving’, informatietechnologie, demografie en klimaat.

Hieruit ontstond een verhaal dat vooral uit kansen bestaat voor het museum. Dat verhaal luidt:
“Het museum kan afleiding en verbeelding bieden voor de complexe, op het individu gerichte samenleving waarbij met behulp van technologische ontwikkelingen regelmatig nieuwe informatie ontsloten wordt, wat de beleving stimuleert. De bezoekersaantallen kunnen toenemen, omdat door vergrijzing een belangrijke doelgroep groeit. Alleen de opwarming van de aarde vormt een risico in de vorm van wateroverlast, maar dat is beperkt omdat de grotere tentoonstellingen veelal op de eerste verdieping van het museum worden gehouden en omdat het museum in 2018 een collectiegebouw zal openen waar de collectie een veilig onderkomen tegen wateroverlast vindt. Daardoor wordt geen reputatierisico – wat slecht is voor het verkrijgen van bruiklenen voor tentoonstellingen – meer gelopen.”
Dus wat betreft de zekere ontwikkelingen in de museumomgeving werd verwacht dat de tentoonstellingsstrategie succesvol zal zijn. Er zijn meer bezoekers te verwachten, die kunnen genieten van toegenomen kwaliteit. Alleen vergt dat in sommige gevallen – bij ontsluiting van informatie – wel investeringen. Daarom zal bij economische groei meer geprofiteerd worden dan bij krimp.
De basis van elk scenario bestaat uit het verhaal van de zekere ontwikkelingen waarbij elk scenario van toon verandert door de onzekere factoren economie en overheid. Omdat de basis positief is zullen de onzekere ontwikkelingen binnen de economie en de overheid bepalen of het museum in alle omstandigheden effectief zal zijn.

Zoals vermeld ontstaan vier scenario’s door van de twee onzekere factoren telkens de uiterste ontwikkelingen te combineren. Het museum heeft deze scenario’s de naam van een stad gegeven. Die naam symboliseert het optreden van de overheid op cultureel gebied in die stad.
In de tabel is de scenarioanalyse in beeld gebracht.

Tabel. Toekomstscenario's en hun gevolgen voor de tentoonstellingsstrategie van Museum Boijmans van Beuningen (voor vergroting klik hier)

De resultaten in 2013 en 2014
In welk deel van het kwadrant uit de tabel bevond het museum zich in de jaren 2012, 2013 en 2014? En is bij die positie te verwachten dat de tentoonstellingsstrategie effectief zal zijn?

Welk scenario past bij het museum?
In 2012 en 2013 kromp de Nederlandse economie met respectievelijk 1,2% en 0,7%. In 2014 groeide de economie weer, zij het met slechts 0,9%. Het museum was in die jaren voor respectievelijk 55%, 51% en 46% van zijn inkomsten afhankelijk van gemeentesubsidie. Daarmee is de afhankelijkheid van de overheid groot, maar tegelijkertijd afnemend. Sinds de verzelfstandiging van het museum in 2006 staat de gemeente Rotterdam meer op afstand van het museum, maar door het bindend laten zijn van de uitgangspunten voor cultuur heeft de gemeente nog steeds invloed.
In 2012 en 2013 met economische krimp en een enigszins sturende overheid leek de omgevingssituatie het meest op het Berlijnscenario met een neiging richting ‘Detroit’. Daarna is de situatie veranderd. In 2014 was er weer economische groei en omdat ook in 2015 de economie vooralsnog blijft groeien, bevindt het museum zich inmiddels in de bovenste helft van het assenstelsel. Gezien de ambivalente rol van de overheid – minder financiering dan in 2009- 2012, wel invloed via de culturele uitgangspunten – is het lastig een van beide scenario’s (Shanghai of Taipei) van toepassing te laten zijn. Een milde variant van het Taipeiscenario ligt het meest voor de hand vanwege de groeiende importantie van externe financiering. Dat het tentoonstellingsprogramma extern en dus niet door de gemeente Rotterdam gefinancierd wordt, geeft de doorslag voor dat scenario.

Resultaten 2013-2014
Gezien bovenstaande conclusie dat voor het tentoonstellingsprogramma het Taipei-scenario van toepassing is, zou de tentoonstellingsstrategie zich staande moeten houden, zij het wel met veel moeite vanwege de broze economische conjunctuur. Dat is in lijn met de behaalde resultaten in 2013 en 2014. In die periode zijn de doelstellingen voor kwaliteit en publiekservaring gehaald. De tentoonstellingen werden positief gerecenseerd, er waren twee tentoonstellingen in het buitenland te zien waaronder de blockbuster van 2013, er waren veel uitgaande bruiklenen en de waardering van het publiek voor de tentoonstellingen was hoog.
Qua publieksbereik lagen de bezoekcijfers van het museum en de blockbuster in 2013 net onder de doelstellingen. In 2014 bleven de resultaten iets verder achter, wellicht vanwege het uitzonderlijk mooie voorjaarsweer tijdens de blockbuster.
Op het gebied van inkomensvorming lag in 2013 de omzet 4% boven de doelstelling en in 2014 was dat zelfs 19%. Dat was hard nodig omdat de fondsenwerving voor tentoonstellingen in beide jaren achterbleef bij de doelstellingen. Tevens gaven de museumbezoekers zowel in 2013 als in 2014 ruim € 11 miljoen uit in de stad waarmee het museum de subsidiebijdrage ruimschoots terugverdiende voor de stad en bijdroeg aan de gewenste levendigheid.

Conclusie: hoe verder?
Gezien de resultaten tot nu toe lijkt Museum Boijmans Van Beuningen erin te zijn geslaagd een model te ontwerpen dat effectiviteit ex post meet met behulp van output- en outcome-indicatoren en ex ante beoordeeld door middel van een scenarioanalyse. Om aan te tonen dat de resultaten niet toevallig zijn ontstaan, maar daadwerkelijk voortkomen uit het gevoerde beleid moet het causale verband tussen de ondernomen activiteiten en de gerealiseerde effecten onderzocht worden. Dat kan omdat bezoekersonderzoek bij het museum aansluit bij de strategische uitgangspunten van het tentoonstellingsprogramma; er wordt gevraagd naar de reden van het bezoek, de beleving, de sterke punten en de verbeterpunten. De uitkomsten van dit onderzoek worden afgezet tegen de resultaten binnen de culturele sector.

Ondertussen gaat het museum verder op de ingeslagen weg. De introductie van de scenarioanalyse heeft de strategievorming bij het museum naar een hoger niveau gebracht. In het vervolg zullen er meer medewerkers bij betrokken worden, zodat een organisatie ontstaat die weet om te gaan met een onzekere omgeving. Het museum kan eensgezinder werken aan het behalen van zijn doelstellingen als voor iedereen binnen de organisatie inzichtelijk is hoe de strategie en de invloed van de omgeving daarop het succes van het museum bepalen. Kansrijke en bedreigende veranderingen in de omgeving zullen eerder worden waargenomen, zodat sneller gehandeld kan worden en het belang van het verwerven van meer eigen inkomsten zal verder tot de organisatie doordringen. De strategievorming zelf wordt zo effectiever en daardoor het museum ook. Dat is nodig, want 2015 lijkt een jaar te worden waarin het museum mogelijk niet de geambieerde bezoekersaantallen en omzet zal realiseren.

Drs. T.K. (Theo) Haarsma RC is controller bij Museum Boijmans Van Beuningen.

Noten
1 SMART staat voor Specifiek (concreet, relevant, ondubbelzinnig), Meetbaar, Acceptabel, Realistisch (ambitieus maar wel haalbaar) en Tijdsgebonden (geldt binnen een bepaalde tijdspanne).
2 De Net Promotor Score (NPS) is een maatstaf voor klanttevredenheid. Die is gebaseerd op de mate waarin bezoekers het museum aan familieleden, vrienden of collega’s aanbevelen.

Literatuur

• Etzioni, A. (1960), ‘Two approaches to organizational analysis: A critique and a suggestion’, Administrative Science Quarterly, 5(2) , pp. 257-278.
• Heijden, K. van der. (2005, 2nd edition), Scenarios: The art of strategic conversation, Chichester: John Wiley & Sons.
• Waal, A. A. de. (2007), Strategic performance management, Basingstoke: Palgrave Macmillan.
• Gemeente Rotterdam (2011), Midden in de stad. Uitgangspuntennota voor het Rotterdamse cultuurbeleid 2013-2016.
• Museum Boijmans Van Beuningen (2011), Meerjarenbeleidsplan 2013-2016.