Rokotekeskustelun opit projektipäällikölle
Viime aikoina kaikki odotamme kuumeisesti koronarokotteita. Rokotekehitysprojektit ovatkin vaatineet valtavan panostuksen ja kriittisestä aikataulusta huolimatta jokaisella markkinoille tulevalla rokotteella pitäisi olla tautia ehkäisevä vaikutus.
Tämän vaikutuksen osoittaminen vaatii usein tuekseen kymmenien tuhansien henkilöiden satunnaistetun kliinisen koejärjestelyn, jossa satunnaisesti valittu toimenpideryhmä saa rokotetta ja toinen satunnaistettu eli keskimääräisesti samankaltainen verrokkiryhmä saa tietämättään ei-vaikuttavaa plaseborokotetta. Mikäli rokotteella on vaikutusta, meidän tulisi seuranta-ajan päätteeksi havaita, että rokotetussa ryhmässä tautia esiintyy keskimäärin vähemmän. Satunnaistus takaa, että havaittu muutos on juuri rokotuksen aiheuttama, koska ryhmät eivät muutoin keskimäärin poikkea toisistaan.
Tätä lääkealan standardiprosessia voidaan kutsua vaikutusten arvioinniksi ja kuten sanottua jokainen meillä myytävä lääke sekä useat hoitomuodot joutuvat läpäisemään vastaavan kaltaisen seulan. Mutta vaadimmeko vastaavaa vaikutusten systemaattista arviointia myös muilla elintärkeillä osa-alueilla, jotka lääkkeiden tapaan kehitetään projektipohjaisen toiminnan kautta?
IT-järjestelmät tappavat?
Taannoin mediassa heräsi kiivas keskustelu uuden ”megaluokan” potilastietojärjestelmän mahdollisista vaikutuksista hoitovirheisiin. Vääntö aiheesta tuntui politisoituneen nopeasti ja keskustelu uhkaa jämähtää turhautuneiden käyttäjien ja jättihankkeen vetäjien väliseksi juupas-eipäs leikiksi.
Tällainen ennakkolatautunut väittely on hedelmätöntä ainakin niin kauan kuin tukena ei ole puolueetonta ja järjestelmällisesti tutkittua tietoa. Valitettavasti tutkimuskirjallisuudesta löytyy parhaillaankin kohtalaisen heikkoa näyttöä terveydenhuollon tietojärjestelmien ja hoitovirheiden välisestä yhteydestä. Tämä ei välttämättä tarkoita sitä, etteikö yhteyttä mahdollisesti olisi vaan, että sitä ei yksinkertaisesti ole kovin laajamittaisesti ja avoimesti tutkittu.
Vaadimme vaikuttavuuden todentamista lääkkeiltä ja hoidolta, mutta muut osa-alueet voidaan jättää retuperälle?"
Eli toisin sanoen vaadimme vaikuttavuuden todentamista lääkkeiltä ja hoidolta, mutta muut osa-alueet voidaan jättää retuperälle? Olisiko liikaa pyydetty, että kaataessamme satoja miljoonia julkisia varoja hankkeeseen voisimme ainakin saada todennettua ja avointa tietoa sen vaikutuksista?
Vaikka nostinkin kotimaisen esimerkin tikunnokkaan tarkoituksenani ei ole kritisoida tätä yksittäistä tapausta tai sen johtamista vaan osoittaa, että kyse on laajemmasta projektinhallinnan ongelmasta, joka ei rajoitu pelkästään tietojärjestelmiin tai terveydenhuoltoon. Voisiko siis systemaattisella vaikutusten arvioinnilla olla paikkansa myös projektinhallinnan työkalupakissa?
Rautakolmion vaikutus
Kaikilla projekteilla pyritään muutokseen nykytilassa, oli tämä sitten avarammat asuintilat (kerrostalohanke), ketterämpi organisaatio (organisaation muutosprojekti), vähentynyt rikollisuus (lainmuutoshanke), elämää helpottava tietojärjestelmä (IT-projekti) tai sairauksia ehkäisevä lääkeaine (lääkekehitysprojekti). Projekti on siis aina interventio, jolla oletetaan olevan vaikutusta.
Vaikuttavuus realisoituu usein vasta pitkän ajan kuluttua projektin päätöksestä."
Perinteisesti projektinhallintaa kuitenkin ajatellaan kustannusten, aikataulun ja laajuuden välisten riippuvuuksien eli ns. rautakolmion optimoinniksi. Vaikuttavuutta tällainen sinänsä tärkeä tuottavuuspohjainen ajattelu ei kuitenkaan aina takaa, koska projektin kautta tavoiteltu muutos, eli vaikuttavuus realisoituu usein vasta pitkän ajan kuluttua projektin päätöksestä. Projektin aikaisilla ja sitä ennen tehdyillä päätöksillä voi kuin olla kauaskantoisia vaikutuksia. Esimerkiksi päätös jättää tiettyjä toiminallisuuksia pois potilastietojärjestelmästä vaikuttaa sen arkiseen käyttöön vuosien päästä, sillä oletuksella, että näitä ominaisuuksia ei voida jälkikäteen lisätä.
Projektien vaikutusten arvioinnissa katse tulee siis kohottaa projektipoterosta strategisemmalle tasolle, joka ajallisesti huomioi projektia ennen luodut tavoitteet (ns. projektin hyödyt) sekä pyrkii todentamaan näiden tavoitteiden toteutumisen projektin jälkeen. Olennaista on ymmärtää, että projektin tavoite ei ole esimerkiksi kehittää terveydenhuollon tietojärjestelmä vaan vaikkapa sujuvoittaa hoitohenkilökunnan työskentelyä sekä lisätä potilasturvallisuutta mahdollistamalla tarkan ja oikea-aikaisen tiedonkulun unohtamatta tietoturvaa.
Kontrafaktuaali ja vaikutusten arviointi
Vaikka jokainen projekti määritelmällisesti aiheuttaa muutosta ympäristöönsä, tämän muutoksen todentaminen ei aina ole yksiselitteistä. Voimme toki aina mitata työn tuottavuutta, vaikkapa hoitohenkilökunnan keskimääräistä kirjaamisaikaa, ennen ja jälkeen projektin. Tällainen ennen-jälkeen vertailu tulisi lähtökohtaisesti aina tehdä, mutta havaitessamme positiivisen poikkeaman syytä juhlaan ei aina välttämättä ole. Miksi?
Aivan kuten rokotteissa, mahdolliset syyt tuottavuuden nousuun tai taudilta välttymiseen ovat moninaiset. Vaikutusten arvioinnin tarkoituksena onkin mahdollisimman tarkasti eristää ja arvioida juuri projektin lopputuotteen eli esimerkiksi tietojärjestelmän tai rokotteen vaikutus eli sulkea pois vaihtoehtoiset selitykset mahdollisesti havaitulle muutokselle.
Yleinen ongelma esimerkiksi tietojärjestelmien ja uusien organisointimuotojen käyttöönotossa on se, että pilotteihin valitaan henkilöitä tai tiimejä, jotka voivat olla lähtökohtaisesti muita kyvykkäämpiä vaikkapa omaksumaan uusia toimintatapoja. Valintaa ei siis rokotetutkimusten tapaan satunnaisteta, mikä aiheuttaa niin sanottua valikoitumisvinoumaa, joka voi vääristää arviointia, kun pilottiin osallistujien ”vaste” uuden tietojärjestelmän käyttöön on perusjoukkoa parempi.
Yleinen vääristävä ongelma on se, että pilotteihin valitaan henkilöitä tai tiimejä, jotka voivat olla lähtökohtaisesti muita kyvykkäämpiä vaikkapa omaksumaan uusia toimintatapoja."
Jokaisen vaikutusten arvioijan perimmäinen haaste onkin löytää sopiva kontrafaktuaali, eli vastaus kysymykseen mikä olisi lopputilanne tässä samassa ympäristössä, jos kaavailtua projektia ei olisi tehtykään? Emme koskaan luonnollisesti saa suoraa vastausta tähän ja esimerkiksi rokotetutkimuksessa tämän kontrafaktuaalin muodostaa siis satunnaisesti valittu ja näin ollen keskimääräisesti samankaltainen verrokkiryhmä, joka saa plaseborokotteen.
Projektimaailmassa kontrafaktuaalin muodostaminen satunnaistamalla on, jos ei mahdotonta, niin ainakin haastavaa. Usein joudutaankin turvautumaan niin sanoihin kvasikokeisiin eli ryhmien väliseen vertailuun ilman satunnaistamista. Kuten vaikutusten arviointi yleisesti, tämä vaatii kuitenkin ajatuksen venyttämistä projektin ja projektiorganisaation ulkopuolelle ja katse tulee kääntää esimerkiksi projektin lopputuotteen keskeisimpään käyttäjäjoukkoon. Tietojärjestelmän tapauksessa tämä joukko on selvärajaisempi, laajojen infrastruktuurihankkeiden tapauksessa epämääräisempi. Tälle joukolle pitäisi kuitenkin pystyä luomaan uskottava verrokkiryhmä, esimerkiksi organisaatioyksiköt, jotka eivät ota tietojärjestelmää käyttöön tai mahdollisimman samankaltainen kaupunkiympäristö, jossa ei rakenneta uutta tietä tai tunnelia.
Verrokkiryhmän löydyttyä voidaan jo suorittaa huomattavasti sofistikoituneempi arvio projektin vaikutuksesta, vaikkapa mittaamalla tuottavuutta molemmissa ryhmissä ennen ja jälkeen projektin. Näin voidaan laskea verrokkiryhmän tuottavuuden muutos, joka puolestaan voidaan vähentää toimenpideryhmän tuottavuuden muutoksesta (ns. normalisointi). Näin siis huomioidaan esimerkiksi yleinen tuottavuuden lisäys (tai lasku), joka johtuu muista ulkopuolisista tekijöistä. Tätä kutsutaan difference-in-difference menetelmäksi, joka onkin monen muun tilastollisen menetelmän ohella yksi vaikutusten arvioinnin keskeisistä työkaluista.
Vaikutusten arviointi vaatii siis usein luovuutta sekä teknistä osaamista sopivien aineistojen (datan) löytämisessä, yhdistämisessä, muokkaamisessa ja analysoinnissa. Aineistoja voi olla valmiiksi saatavilla, esimerkiksi liikennemäärät tai potilasrekisterit, tai niitä voidaan joutua ensisijaisesti keräämään arviointia varten esimerkiksi kyselyin tai tietojärjestelmään rakennetuin mittarein. Joissakin tapauksissa myös laadullisin menetelmin kuten haastatteluin.
Vaikutusten arviointi oppimisinvestointina
Tässä vaiheessa moni lukija ja projektiammattilainen saattaa henkäistä syvään ja pohtia, että mistä ihmeestä nyt tällekin löytyy aikaa, rahaa ja muita resursseja. On myönnettävä, että projektien vaikutusten arviointi on resurssi-intensiivistä, mutta myös enenevissä määrin arkipäivää esimerkiksi YK:n kehitysyhteistyöhankkeissa ja toki Suomessakin esimerkiksi ympäristövaikutusten arvioinneissa sekä hiljattain myös lainvalmistelussa. Ympäristövaikutusten arvioinnin osalta Suomella olikin kansainvälisesti merkittävä rooli vuoden 1991 niin sanotun Espoon-sopimuksen laadinnassa, jossa sovittiin ympäristövaikutusten arvioinnista rajat ylittävissä hankkeissa.
Muun muassa kehityshankkeiden osalta vuorostaan vaikutusten arviointia on viety ympäristön lisäksi myös sosiaalisten ja taloudellisten vaikutusten arvioinnin suuntaan. Tuntuukin siltä, että kehitysyhteistyörahahanojen ollessa lähtökohtaisesti aina tiukalla halutaan varmistaa, että niukoista varoista kustannetuilla hankkeilla olisi varmasti todennettua vaikutusta, vaikka itse arviointi viekin kohtalaisen osan näistä rahoista.
Haluaisitko ottaa rokotteen, jonka vaikutus on arvioitu satunnaistetuilla kliinisillä kokeilla?"
Voisi siis todeta, että köyhällä ei ole varaa halpaan, koska ainoastaan vaikutuksia arvioimalla voimme oppia tulevaisuudessa valitsemaan ja toteuttamaan vaikuttavimmat projektit. Vaikutusten arvioinnissa on siis ennen kaikkea kyse oppimisesta. Oppimista tarvitaan niin vaikutusten arvioinnin kehittämiseen, mutta arviot itsessään tuottavat hyödyllistä tietoa organisaatiolle mahdollistaen laajemman oppimisen.
Vaikutusten arviointi ei myöskään millään tavoin poista perinteisen projektinhallinnan tärkeyttä, koska lähtökohtaisesti rautakolmio takaa oikein suoritetun toteutuksen, mutta vaikutusten arviointi auttaa meitä varmistamaan, että teimme lähtökohtaisesti oikeita asioita.
Palaten vielä alkuun, haluaisitko ottaa rokotteen, jonka vaikutus on arvioitu satunnaistetuilla kliinisillä kokeilla? Luultavasti, kyllä. Vastaavasti haluaisitko, että lääkärisi käyttää työssään tietojärjestelmää, jonka potilasturvallisuutta lisäävästä vaikutuksesta on todennettua näyttöä? Vaikutusten arviointi ja todentaminen maksavat, mutta mitä maksavat menetetyt työvuodet tai ihmishenget?
Miten päästä alkuun projektien vaikutusten arvioinnissa?
Vaikutusten arviointi vaatii osaamista, jota ei välttämättä löydy jokaisesta projektiorganisaatiosta. Pääpaino on usein tilastollisten menetelmien ja aineistojen hyödyntämisessä. Omaa ja organisaation osaamista voi ja tulee kehittää tähän ”datatalouden” suuntaan. Alkuun voi kuitenkin päästä vaikkapa seuraavien neljän askeleen kautta:
- Pohdi jo ennen projektin aloitusta mikä on projektin keskeisin tavoite. Mikä on projektissa luotavan lopputuotteen keskeisin käyttäjäryhmä ja miten projektin tulee muuttaa tämän ryhmän toimintaa?
- Koeta määrittää tälle tavoitteelle mahdollisimman kattava, mutta mitattavissa oleva mittari. Mikäli projekti pyrkii esimerkiksi ”tuottavuuden” kasvuun niin pyri tarkasti määrittämään mitä tällä tarkoitetaan ja miten sitä voidaan mitata.
- Tunnistettuasi käyttäjäryhmän, johon projektilla on oletettua vaikutusta, pyri löytämään sopiva verrokkiryhmä eli mahdollisimman vastaava ryhmä, joka ei ole projektin vaikutuksen piirissä. Jos pilotoit projektin tuotetta, pyri arpomaan pilottiin valittavat henkilöt.
- Pyri mittaamaan tavoitteesi molemmissa ryhmissä ennen ja jälkeen projektin. Tämän avulla voit luoda tietyillä oletuksilla luotettavan estimaatin projektin vaikutuksesta mitattavaan suureeseen (esim. lisääntynyt tuottavuus).
Muista, että vaikutusten arvioinnissa on pohjimmiltaan kyse oppimisesta. Luultavasti ensimmäinen eikä toinen kerta vielä tuo tulosta, mutta niistä voi aina oppia! Muista siis dokumentoida prosessi osana projektiraportointia.
Juri Matinheikki, TkT, toimii tutkijatohtorina Aalto-yliopiston kauppakorkeakoulun logistiikan tutkimusryhmässä. Hän kouluttaa muun muassa Aalto PRO:n Diploma in Project Management -koulutusohjelmassa, joka on kattava projektinhallinnan ja projektien johtamisen koulutusohjelma. Se antaa yrityksen projektitoiminnan eduksi käytännön parhaat työkalut ja menetelmät, tehokkaan johtamisen toimintatavat sekä tutkimuksen viimeisimmät opit. Lue lisää ohjelmasta.