slogan: PLATFORM VOOR PUBLIC GOVERNANCE, AUDIT & CONTROL

De rol van CIO's bij risicobeheersing

De rol van CIO's bij risicobeheersing

20 september 2012 om 12:42 door Vincent Homburg, Jessica Maes 0 reacties

Grootschalige ICT-projecten in het openbaar bestuur zijn vaak moeilijk beheersbaar. Sinds 2010 zijn op alle departementen CIO’s aangesteld die onder andere als taak hebben om risico’s rondom de vaak complexe ICT-projecten beter te kunnen beheersen. Maar dragen CIO’s daadwerkelijk bij aan risicobeheersing en kwaliteitsborging van deze projecten? In dit artikel wordt het functioneren van de CIO’s geëvalueerd.

Sinds 2010 zijn op alle departementen Chief Information Officers (CIO’s) actief. Deze departementale CIO’s bewegen zich op het grensvlak van informatievoorziening, techniek en politiek en het is onder andere hun taak om risico’s rondom vaak complexe ICT-projecten beter te kunnen beheersen. Dit artikel beschrijft in welke mate en hoe activiteiten van CIO’s daadwerkelijk bijdragen aan risicobeheersing en kwaliteitsborging. Het artikel sluit af met een concluderend oordeel en met aandachtspunten voor de verdere ontwikkeling van risicobeheersing en kwaliteitsborging met betrekking tot grote ICT-projecten in het openbaar bestuur.

In 2007 concludeerde de Algemene Rekenkamer dat grootschalige ICT-projecten in het openbaar bestuur vaak moeilijk beheersbaar zijn door de complexiteit van dergelijke projecten en door ontoereikende informatievoorziening rondom dergelijke grote projecten. Een van de maatregelen die het kabinet Balkenende IV in dit kader heeft genomen is de instelling van de rol van Chief Information Officer (CIO). Sinds 2010 zijn op alle departementen CIO’s aangesteld die als taak hebben om informatiestrategieën te ontwikkelen, standaarden te bewaken en bij te dragen aan kwaliteitsborging en risicobeheersing van ICT-projecten. In dit artikel wordt het functioneren van de CIO’s geëvalueerd. Centrale vraagstelling hierbij is of de instelling van de rol van CIO op Nederlandse departementen heeft bijgedragen aan risicobeheersing en kwaliteitsborging van complexe ICT-projecten. Om deze vraag te beantwoorden zijn documenten geanalyseerd en interviews gehouden met elf van de in totaal dertien departementale CIO’s. Ruwe interviewdata en documenten zijn vervolgens met behulp van kwalitatieve onderzoeksmethoden gecodeerd om uiteindelijk tot oordeel te komen over de rol en het functioneren van departementale CIO’s bij de rijksoverheid.

ICT, complexiteit en de rol van CIO’s
Met enige regelmaat verschijnen verhalen in de media over toepassingen van informatie- en communicatietechnologieën in het openbaar bestuur die nodeloos duur of onbeheersbaar zijn, of die niet doen wat ooit werd beoogd. Treffende voorbeelden hierbij zijn het Elektronisch Patiëntendossier, P-Direkt en de Digitale Werkplek Rijk (DWR). Onlangs nog werd tijdens een raadsvergadering van de gemeente Amsterdam op 22 september 2010 duidelijk dat naar schatting honderd miljoen euro nodig is om de ergste nood te lenigen van te dure, trage, onveilige en onbetrouwbare gemeentelijke computernetwerken in Amsterdam (De Volkskrant, 23 september 2010). Al eerder berichtte dagblad Trouw dat de Nederlandse overheid als geheel jaarlijks vier tot vijf miljoen euro uitgeeft aan geheel of goeddeels mislukte ICT-projecten. De Algemene Rekenkamer constateerde overigens al met twee rapporten uit 2007 en 2008 dat ICT-projecten in het openbaar bestuur vaak mislukken door ontoereikende informatievoorziening rondom grootschalige projecten (waardoor risico’s onvoldoende inzichtelijk worden gemaakt) en te grote complexiteit van ICT-projecten. De Algemene Rekenkamer heeft hierbij een onderscheid gemaakt naar drie vormen van complexiteit:

  1. Politieke complexiteit: zowel bestuurders, volksvertegenwoordigers en leveranciers zijn, volgens de Rekenkamer, om verschillende redenen vaak geneigd om te denken in termen van ‘grote oplossingen’ en ‘grote projecten’. In de praktijk is gebleken dat deze partijen geen tegenwicht aan elkaar bieden en elkaar gevangen houden in een vicieuze cirkel van almaar complexer wordende ICT-systemen.
  2. Organisatorische complexiteit: bij grootschalige projecten zijn vaak meerdere bestuurslagen betrokken, naast soms verscheidene ICT-leveranciers. Het risico bestaat dat projecten worden geleid door de afzonderlijke doelen van betrokken partijen en dat er geen samenhangende visie of implementatie van de uiteindelijke ICT-toepassing ontstaat. Daarnaast wordt vaak organisatorische verandering die samenhangt met of wordt vereist door een ICT-toepassing onderschat.
  3. Technische complexiteit: veelal verschuiven gedurende een project de doelstellingen, randvoorwaarden en eisen. Daarnaast worden de investeringen in middleware, conversies en interfaces (die benodigd zijn om nieuwe technologie te laten samenwerken met bestaande technologieën) onderschat. Als laatste aspect noemt de Rekenkamer dat technologische ontwikkelingen zodanig snel gaan dat gemaakte keuzes al snel achterhaald worden door nieuwe kennis en nieuwe technologieën.

Het vóórkomen van deze vormen van complexiteit is niet uniek voor het Nederlandse openbaar bestuur. In een aantal landen zijn inmiddels ook beleidsinitiatieven ontwikkeld om risico’s die voortkomen uit de genoemde vormen van complexiteit beter te kunnen beheersen. Zo werd in de Verenigde Staten in 1996 de Clinger-Cohen Act aangenomen. Een van de concrete maatregelen die hiermee van kracht werd was de aanstelling van CIO’s voor elke federale organisatie. De introductie van de CIO in het Amerikaanse federale bestuur heeft zijn weerklank gehad in Australië waar de zogenaamde whole-of-government CIO werd geïntroduceerd, die de afstemming van ICT-projecten tussen departementen en bestuurslagen moest bevorderen. In Oostenrijk, ten slotte, is de CIO als rol geïntroduceerd waarbij deze CIO voorzitter is van het ‘Digitalen Plattform Austria’, een platform dat bestaat uit afgevaardigden van de federale overheid, regio’s, steden, non-profitinstellingen en zelfs private organisaties en dat als belangrijke taak heeft om met name elektronische dienstverlening (e-government) te stimuleren.

In navolging van de rapporten van de Algemene Rekenkamer uit 2007 heeft het kabinet Balkenende IV in 2008 besloten tot het inrichten van de departementale CIO-rol, naast het instellen van een Rijks CIO-functie op het ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Bij de inrichting van de rol van de departementale CIO rol zijn de volgende uitgangspunten gehanteerd:

  • Het betreft een rol die wordt neergelegd bij bestaande functionarissen op het strategische niveau van de organisatie, waardoor verbinding gemaakt kan worden tussen de organisatievraagstukken en de informatievoorziening van de organisatie.
  • Grote ICT-projecten behoeven een oordeel van de CIO voordat ze van start kunnen gaan.
  • De CIO heeft een adviesfunctie en kan ook tijdens projecten een oordeel of advies geven (risicobeheersing en -management), voortbouwend op inzichten van de Rekenkamer.
  • De CIO kan als opdrachtgever functioneren voor generieke departementale ICT-voorzieningen.
  • De CIO is verantwoordelijk voor het opstellen en onderhouden van een departementale informatiestrategie en informatiearchitectuur, en bewaakt standaarden.
  • De CIO bewaakt de samenhang in informatievoorziening en ICT-projecten binnen een ministerie door applicatie- en projectenportfoliomanagement (kwaliteitsborging).
  • De CIO stelt op basis van rijksbrede kaders eisen aan projectbeheersingsmethodieken en ondersteunt de CIO audits, reviews en second opinions.

Op basis van, de probleemanalyse van de Rekenkamer en de uitgangspunten van het toenmalige kabinet is een reconstructie te maken van de verwachtingen met betrekking tot het functioneren van departementale CIO’s in Nederland. Deze verwachtingen – die samen de zogenaamde beleidstheorie vormen – is weergegeven in de figuur.

TPC februari 2011 blz 29.JPG
Figuur. Gereconstrueerde beleidstheorie over CIO's, risicobeheersing en kwaliteitsborging (Klik op figuur voor vergroting)

Aandachtsgebieden en werkwijzen van departementale CIO’s
Om de rol van CIO’s in de praktijk te kunnen evalueren is gebruik gemaakt van vier clusters van evaluatiecriteria: aandachtsgebieden, positionering en invulling van de CIO-rol, risicobeheersing en -management (de Reyk, Grushka-Cockayne, Locket, Calderini, Soura & Sloper, 2005) en kwaliteitsborging (Cumps, Martens, De Backer, Haesen, Viaene, Dedene, Baesens & Snoeck, 2007).

Aandachtsgebieden
De aandachtsgebieden van CIO’s worden in de literatuur geïdentificeerd en beschreven (Maes, 2003; Chun & Mooney, 2009). In de evaluatie zijn vier ideaaltypische CIO-aandachtsgebieden gehanteerd: innovatie, project-/portfoliomanagement, alignment en strategisch beleid. In de praktijk blijkt dat de aandachtsgebieden van de CIO bestaan uit het opstellen van meerjarenbeleidsplannen (met een tijdshorizon van twee tot vijf jaar), het opbouwen en beheren van een projectenportfolio ten behoeve van risicobeheersing en kwaliteitsborging, en interdepartementale afstemming. Opvallende afwezige is het aandachtsgebied ‘innovatie’, dat slechts door één CIO werd aangehaald. Bij de andere CIO’s is dit niet of slechts terloops genoemd als aandachtsgebied. Een belangrijk aandachtsgebied dat door CIO’s werd genoemd en dat in mindere mate in de literatuur naar voren komt, is interdepartementale afstemming.

De invulling van de rol door CIO’s kan worden getypeerd als informatiestrateeg, portfoliomanager en bedrijfsmatig adviseur (Maes, 2003) waarbij in algemene zin de nadruk wordt gelegd op kostenbeheersing, procesverbetering en standaardisatie (Chun & Mooney, 2009). Departementale CIO’s vullen hun rol zodanig in dat juist weinig overeenkomsten bestaan met de rollen van ‘trendwatcher’ en ‘strategisch adviseur’ (Maes, 2003). Veel CIO’s merken op dat bestuursraden weinig affiniteit lijken te hebben met ICT en dat het hen veel moeite kost om de productiefactor ICT onder de aandacht te brengen van de departementsleiding. Hierbij wordt opgemerkt dat ICT-onderwerpen die onder de aandacht komen van de departementsleiding óf worden versimpeld (tot ‘kantoorautomatisering’) of juist worden afgeweerd, omdat men vermoedt niet over de juiste, specialistische kennis te beschikken.

Positionering en invulling van de CIO-rol
De Algemene Rekenkamer geeft aan dat het van belang is de CIO zo hoog mogelijk te positioneren om een volwaardige gesprekspartner te kunnen zijn. Echter niet alleen positie, maar ook gezag en kennis zijn volgens de Rekenkamer vereist om adequaat te functioneren. Indien een CIO onder een afdeling bedrijfsvoering is gepositioneerd, kan dit een ander effect hebben dan wanneer een CIO lid is van de bestuursraad. Bedrijfsvoering wordt gezien als uitvoeringsgericht en hiermee is niet vanzelfsprekend gezag gecreëerd bij beleidsdirecties.
Uit de analyse van positionering van CIO-rollen in de departementale praktijk blijkt dat van de elf geïnterviewde CIO’s er al twee in functie waren vóór het besluit tot instellen van de rol van CIO uit 2008. Daarnaast geldt dat daar waar bij de instelling van de CIO rol in 2008 werd gesproken van een ‘hoog ambtelijk niveau’, de rol in de praktijk op verschillende wijzen is ingevuld, zowel door de pSG – vanuit bedrijfsvoering of concerncontrol – als vanuit de staffunctie ICT, terwijl in één geval een specifieke functie CIO is ingesteld. Bij het daadwerkelijk invulling geven aan de CIO-rol leggen vrijwel alle betrokken CIO’s de nadruk op het adviseren en in veel mindere mate op de control. Door de grote aandacht voor de adviesrol verwachten de CIO’s dat er toegevoegde waarde wordt gecreëerd waardoor zij hun rol en dus hun gezag verder kunnen verstevigen.

Daarnaast geldt dat CIO’s per definitie meerdere operationele en toezichthoudende verantwoordelijkheden hebben en dat daardoor soms functievermenging op kan treden. Sommige CIO’s zijn verantwoordelijk voor projecten waarbij een plaatsvervanger een advies of oordeel moet geven. Voor geen van de CIO’s wordt dit echter als een fundamenteel probleem gezien en velen gaan hier enigszins pragmatisch mee om.

Budgetverantwoordelijkheid lijkt een belangrijk instrument voor het functioneren van CIO’s. Voor de CIO’s die over dit instrument beschikken, geldt het als een belangrijke maatregel om ervoor te zorgen dat alle informatie die benodigd is voor het uitoefenen van de rol van CIO kan worden verkregen. Een CIO verwoordde het als volgt: “Het is toch altijd een kwestie van follow the money.” Hieruit zou afgeleid kunnen worden dat de CIO’s dit instrument nodig hebben om verzekerd te zijn van de informatie die benodigd is om hun rol goed uit te kunnen oefenen. Echter, voor de CIO’s die niet beschikken over dit instrument lijkt het geen gemis; budgetverantwoordelijkheid is dus bij deze groep geen noodzakelijke voorwaarde voor een volwaardige CIO-rol.

Risicobeheersing en -management
Risicobeheersing en -management kan worden gedefinieerd als het systematisch analyseren van risico’s en het nemen van maatregelen gericht op het voorkómen, verminderen, uitbesteden of accepteren van risico’s. In dit onderzoek is risicobeheersing en -management opgevat als een vorm van interne sturing (governance), waarbij vooral gebruik wordt gemaakt van project-/portfoliomanagement (PPM). Het principe van PPM is dat projecten gerangschikt worden op basis van vooraf gedefinieerde doelstellingen, waarbij rekening gehouden wordt met het risico dat de uitvoering van het project met zich meebrengt. De bedoeling van een PPM-proces is dat ieder project wordt geadministreerd in een ‘portfolio’.
Uit de analyse blijkt dat een eenduidige wijze om het risicoprofiel per project te kunnen bepalen, ontbreekt. In de praktijk blijkt dat er op basis van verschillende soorten risico’s (politieke risico’s, maar ook beheerrisico’s) en op basis van pragmatische en informele inschattingen een risicoprofiel wordt opgesteld. Op sommige departementen wordt een zogenaamd ‘dashboard’ gebruikt om op een hoog abstractieniveau inzicht te krijgen in de status van projecten en de departementsleiding te informeren. Het zijn echter juist de politieke risico’s die geen plaats hebben gekregen op dit dashboard, hetgeen het dashboard tot een minder geschikt instrument maakt om de departementsleiding te informeren.

De mate waarin PPM wordt gebruikt, en hiermee het volwassenheidsniveau van PPM, verschilt van departement tot departement. Een aantal CIO’s gebruikt PPM nu slechts voor het verkrijgen van een departementaal overzicht van ICT-projecten en het prioriteren hiervan, terwijl andere CIO’s PPM daadwerkelijk gebruiken als instrument om de risico’s integraal te monitoren en met name te beheersen. De informatievoorziening vanuit de organisatie wordt goed genoemd. Echter iedere CIO legt de nadruk in de voortgangscontrole op projecten op een andere wijze en ook de wijze van bijsturen verschillen per project en per departement.
Audits op projecten worden door vrijwel alle CIO’s uitgevoerd met de inzet van verschillende instrumenten. Het adviseren van een Gateway Review wordt vaak toegepast. De CIO’s menen dat de inzet hiervan zorgvuldig moet gebeuren en dat resultaten hiervan slechts moeten dienen als interne evaluatie: bij externe communicatie kunnen perverse effecten ontstaan.

De rol van de auditdienst bij inzet van audits wordt niet altijd benut. Auditdiensten richten zich op de totstandkoming van de rapportages over grote ICT-projecten door het opmaken van nota’s van bevindingen, maar spelen sporadisch een rol bij het uitvoeren van audits op de projecten zelf; dit is nog in ontwikkeling. Het inzetten van de auditdiensten vindt volgens de CIO’s niet altijd plaats zoals dat bij de instelling van de CIO’s werd beoogd. Voor de inzet van de auditdienst kan geconcludeerd worden dat dit nog niet eenduidig op intensieve wijze plaatsvindt.

Kwaliteitsborging
Kwaliteitsborging heeft met name betrekking op het tot stand brengen van alignment. Alignment heeft in algemene zin betrekking op het afstemmen van primaire processen op de informatievoorziening (en vice versa). Alignment kan worden afgemeten aan de hand van de volgende criteria (Cumps et al., 2007):

  • het prioriteren van ICT-investeringen in relatie tot de strategie van een organisatie;
  • performancemanagement relateren aan budgetallocatie;
  • nauwe verwevenheid van organisatie, ICTplanning, en managementprocessen tot stand brengen; en
  • het eenduidig en duidelijk beleggen van eigenaarschap vanuit de organisatie voor specifieke ICT-projecten.

Uit de bevindingen blijkt dat de invulling van de rol van opdrachtgever per soort project kan verschillen. Soms komt de opdrachtgever vanuit de lijnorganisatie van een beleidsdirectie en soms vanuit de ICT- of bedrijfsvoeringsorganisatie. Dit zou kunnen verklaren waarom de verbetering van het opdrachtgeverschap, zoals ook beoogd bij de instelling van de CIO-rol, moeilijk te realiseren is. Er is immers een doelgroep die een gedifferentieerde rolvolwassenheid heeft. Een opdrachtgever die vanuit de ICT-organisatie komt, heeft een andere ervaring en kijk op een ICT-project dan een opdrachtgever uit de beleidsorganisatie. Hierbij kan ook de bevinding omtrent budgetverantwoordelijkheid een rol spelen. Er zou een verband kunnen zijn tussen budgetverantwoordelijkheid en professioneel opdrachtgeverschap. Dit is verder niet onderzocht.

Uit de analyse blijkt dat enkele aspecten uit het evaluatiekader niet door de respondenten zijn genoemd als aandachtspunten. Het betreft met name de aspecten performancemanagement en de invloed op budgetallocatie, het afstemmen van alignmentprocessen centraal en decentraal en het verweven van organisatie en ICT-planning en managementprocessen. Er wordt wel nagedacht over het centraal en decentraal afstemmen van de alignmentprocessen maar niet door alle CIO’s.
Nadrukkelijk wordt echter wel de alignment aan de ‘voorkant’ genoemd als aandachtspunt van de CIO’s. Het prioriteren en adviseren vooraf vraagt en krijgt veel aandacht van de CIO’s. Dit zou wellicht kunnen duiden op een volwassenheidsniveau waarbij men vooral aan de voorkant probeert om alignment te verwezenlijken waarbij er niet voldoende capaciteit meer is om aan de achterkant (kwaliteitsborging tijdens en na projecten) te evalueren en te leren.

Conclusies en discussie
In dit artikel is gerapporteerd over een evaluatie van Chief Information Officers op Nederlandse departementen. De beleidstheorie veronderstelt dat het instellen van CIO’s via advisering tijdens en voorafgaande aan projecten, sturing op departementale visie en strategie, toepassingen van standaarden en projectmethodieken en het stimuleren van project-/ portfoliomanagement bijdraagt aan het beheersen van risico’s die voortkomen uit de politieke, technische en organisationele complexiteit van grootschalige ICT-projecten.
De evaluatie is uitgevoerd door de aandachtsvelden, de rol en positionering, de wijze van invulling van risicobeheersing en -management en de omgang met kwaliteitsborging te beoordelen aan de hand van uit de literatuur afgeleide specifieke criteria. Uit de confrontatie van criteria enerzijds en de systematische analyse van interviews met elf CIO’s blijkt dat aan omstreeks de helft van de evaluatiecriteria wordt voldaan en dat er derhalve ruimte is voor verder groei van de rol van CIO, en voor verbetering van de risicobeheersing en kwaliteitsborging van grootschalige ICT-projecten.

De aandachtsvelden van CIO’s betreffen met name advisering voor aanvang van projecten, maar in mindere mate het evalueren en bijsturen van projecten. Met betrekking tot het oordeel dat voor aanvang van grote ICT-projecten moet worden gegeven, ontbreekt een uniforme visie of werkwijze die aangeeft waaruit het oordeel zou moeten bestaan. Innovatie vormt nauwelijks een aandachtsveld; departementale CIO’s zijn met name informatiestrateeg, portfoliomanager en bedrijfsmatig adviseur en in mindere mate strategisch adviseur en ‘trendwatcher’. Daarbij wordt opgemerkt dat de departementsleiding waar CIO’s mee te maken hebben in mindere mate affiniteit lijken te hebben met ICT-projecten.

Door de beperkingen van de adviesrol in de praktijk en de geringe toegang tot fora zoals de bestuursraad waarin strategie wordt besproken, slaagt de huidige invulling van de CIO-rol er niet in de complexiteit van grootschalige ICT-projecten te beheersen en liggen hier belangrijke kansen voor groei en ontwikkeling. Daarnaast verschilt de invulling en positionering van de CIO-rol sterk per departement. In de praktijk proberen CIO’s niet zozeer vanuit een ‘control’- perspectief, maar met name door een adviesrol gezag en invloed te verwerven. In de praktijk leidt het takenpakket tot functievermenging, maar de meeste CIO’s gaan hier pragmatisch mee om en geven aan dat dit geen fundamenteel bezwaar vormt.
Op het gebied van risicobeheersing en -management enerzijds en kwaliteitsborging anderzijds is waar te nemen dat project-/portfoliomanagement wordt toegepast om risico’s te identificeren en te prioriteren, maar dat er geen eenduidig risicoprofiel wordt gebruikt en dat het inventariseren van risico’s niet altijd wordt vervolgd door het beheersen van risico’s. De meerderheid van de CIO’s richt zich ook niet op de naleving van het gebruik van standaard projectmethodieken. Het is met name dit aspect dat de mogelijkheden van de rol van de CIO om organisatorische complexiteit te beheersen onderbenut.

Alles overziend blijkt dat, meer dan een jaar na de instelling van de CIO’s op Nederlandse departementen, een belangrijke start is gemaakt met het (beter) beheersen van de politieke, technische en organisatorische complexiteit van ICT-projecten. Er is echter ruimte voor en noodzaak tot verdere uitbouw en groei van de CIO-rol. Uit de evaluatie kan een aantal aanbevelingen worden afgeleid.
Ten eerste kan verbetering worden gezocht in het opstellen van richtlijnen voor het bepalen van het risicoprofiel van grootschalige ICT-projecten. De auditdiensten kunnen hier wellicht, meer dan thans het geval is, een belangrijke rol in spelen.
Ten tweede kan project-/portfoliomanagement als managementactiviteit verder worden geprofessionaliseerd door (1) meer aandacht te schenken aan politieke risico’s van grootschalige ICT-projecten (denk aan de rol van het dashboard), waardoor de aandacht van bestuurslagen eerder wordt getriggerd, en (2) meer aandacht te geven aan het daadwerkelijk beheersen van risico’s door gerichte maatregelen te nemen.

Dr. V.M.F. Homburg is als universitair hoofddocent verbonden aan de Opleiding Bestuurskunde van de Erasmus Universiteit Rotterdam.
Ing. J. Maes BEc MSc is als Product Manager SAP verbonden aan het ministerie van Economische Zaken en verrichtte voor de avondopleiding Bestuurskunde een onderzoek naar de rol van CIO’s op Nederlandse departementen. De auteurs schreven dit artikel op persoonlijke titel.

Literatuur

  • Chun, M., Mooney, J. (2009). ‘CIO roles and responsibilities: Twenty-five years of evolution and change’. In: Information and Management 46: 323-334.
  • Cumps, B., D. Martens, R. De Backer, R. Haesen, S. Viaene, G. Dedene, B. Baesens, M. Snoeck. (2007). Predicting Business-ICT Alignment with AntMiner+. Leuven: Katholieke Universiteit Leuven.
  • Lawry, R., Waddell, D. Singh, M. (2007). ‘Roles, Responsibilities and Futures of Chief Information Officers (CIOs) in the Public Sector’. In: Proceedings of European and Mediterranean Conference on Information Systems 2007 (EMCIS2007), Polytechnic University of Valencia.
  • Maes, R. (2003). Informatiemanagement in kaart gebracht. Prima Vera working paper 2003- 02, Universiteit van Amsterdam.
  • Reyck, B. de, Grushka-Cockayne, R., Locket,M. Calderini ,S.R., Moura, M., Sloper,A. (2005) ‘The impact of Project Portfolio management on Information Technology Projects’. In: International Journal of Project Management 23 (2005) 524-537.
Sluiten