Arviointitutkimuksesta ratkaisuja TKI-toiminnan kehittämiseen

Kirjoittaja: Arja-Tuulikki Malin

TKI-toiminnasta kerätyn tiedon hyödyntämisen haaste

Yhteiskunnalliset panostukset TKI-toiminnan rahoitukseen, projektifikaatio sekä sitominen ammattikorkeakoulun tehtäviin ovat osaltaan johtaneen erilaisten kehittämisprojektin aseman vakiintumiseen (ks. Godenhjelm & Sjöblom 2020; VN 2023). TKI-toimintaan liittyy kuitenkin useita kehittämishaasteita (VN 2023), joihin osaltaan voidaan vastata hankkeiden arviointia parantamalla.

Vaikka TKI-toiminnan on arvioitu olevan kannattavaa, haasteeksi on osoittautunut TKI-toiminnasta saadun tiedon hallinta ja hyödyntäminen strategisessa päätöksenteossa. Systeeminen TKI-toiminnan ja hallinnan tarkastelu osoittaa, että onnistuminen rakentuu eri tasoilla lähtien perusedellytyksistä infrastruktuuriin ja tiedon tuotantoon. Näkyvät ja tuntuvat vaikutukset, kuten innovaatioiden kaupallistaminen ja konkreettiset tulokset, ovat jäävuoren huippu (ks. Kuvio 1) tässä kokonaisuudessa. (Oksanen 2022.)

Arviointitutkimuksen mahdollisuuksista ja haasteista

Sosiaali- ja terveyspalvelujen vaikuttavuuden parantaminen on ollut jo pitkään tieteellisen huomion kohteena Suomessa (mm. Korhonen 2006; Rajavaara 2007). Myös palvelujen kehittämishankkeissa on toteutettu runsaasti arviointitutkimuksen ja erilaisten systemaattisen arvioinnin viitekehysten soveltamista (mm. Pasternack ym. 2018, Ristolainen y2019). Ohjelman arvioinnilla (Owen 2006; Heisler et al. 2022), realistisella arvioinnilla (Pawson & Tilly 1998; Joseph et al. 2019) sekä utilisaatioon kohdentuvilla arvioinneilla (Patton 2012; Zamberg et al. 2020) on pitkät perinteet. Tällä hetkellä vaikuttavuuden arviointiin on kiinnitetty runsaasti huomiota sekä tutkimuksen, kehittämisen, yhteistyön ja koulutuksen osa-alueilla (ks. Vaikuttavuuden talo 2023, Vaikuttavuusseura 2023). Teema on tärkeä myös kehittämisprojektien arvioinnissa. Arvioinnin erilaiset näkökulmat ovat yhdistävänä teemana ekosysteemeissä kaikilla tasoilla. Kuitenkin arviointiin ja varsinkin sen metodologiaan liittyy keskeisiä haasteita hanketoiminnassa. Niihin on löydettävä ratkaisuja TKI-toiminnasta saatavan tiedon systemaattisen hallinnan parantamiseksi (ks. Oksanen 2022).

Tässä artikkelissa projektin arvioinnin kehittämisen empiirisenä esimerkkinä tarkastellaan yhtä LAB ammattikorkeakoulun toteuttamaa pienen mittakaavan kehittämishanketta. Ketterä-hanke oli alle 100 000 euron kokonaisbudjetin kahdeksan kuukauden mittainen ESR+ (2014–2020) rahoitteinen LAB-ammattikorkeakoulun toteuttama kehittämishanke. Hankkeen tavoitteena oli kehittää Etelä-Karjalassa toimivien, viiden mikro ja pk-yrityksen työhyvinvoinnin, osaamisen ja työurien muutoskyvykkyyttä. Hankkeessa arvioitiin yritysten käytössä olevia työkaluja näiden osa-alueiden tunnistamiseksi, ennakoimiseksi sekä kehittämiseksi. Kehittämisen keinoina hankkeessa toteutettiin yrittäjille teemoitettuja työpajoja sekä koottiin aiheeseen liittyvää materiaalia lisätiedon ja -tuen hankkimiseksi. Hankkeen projektipäällikkö, kaksi asiantuntijaa ja projektisuunnittelija toimivat koko toiminta-ajan osa-aikaisina. (Ketterä 2023.)

Julkisrahoitteisen kehittämishankeen arviointiin liittyy ensisijaisesti kontrollin tiedollinen intressi. Rahoittajalle on esiteltävä dokumentit sekä perustelut, joilla osoitetaan hankkeeseen osoitettujen rahojen käytön suunnitellusti sekä ohjelmien sisällöllisten vaatimusten toteutuminen. Näiden osa-alueiden raportointia tukee usein strukturoidut raportointilomakkeet, jotka toimitetaan maksatusten yhteydessä. Kuitenkin hankkeen toteuttajalla ja hallinnoijalla, kohdeyrityksillä sekä niihin yhdistyvillä ekosysteemeillä on tätä laajempia tiedollisia intressejä hankkeen arvioinnin suuntaan. Hallinnoijan, tässä tapauksessa LAB ammattikorkeakoulun intressinä on saada luotettavaa tietoa sen strategiasta nousevien tavoitteiden toteutumisesta. Tässä tapauksessa vaikuttavuuden arvioinnin tiedollinen intressiä ohjaa strategia ohella muun muassa YK:n kestävän kehityksen tavoitteet sekä TKI-toiminnan ja opetuksen näkökulmien yhdistämisen tavoitteet toimintaympäristöstä nousevien arviointiteemojen lisäksi (ks. Arene 2020; Väänänen & Peltonen 2020; Arene 2023).

Ratkaisun etsiminen arviointitutkimukseen perustuvasta viitekehyksestä

Jos kehittämishankkeeseen ei sisälly suunniteltua arviointia esimerkiksi ex ante, prosessievaluaation (ks. Seppänen-Järvelä 2004; Saunders 2016) tai ex post asetelmina (Räisänen & Goman 2018), arviointi on luonteeltaan tällöin pragmaattista (ks. Kivipelto 2008, 16; Morgan 2021). Se perustuu empiriasta valittujen tai poimittujen vastausten keräämistä rahoittajan edellyttämiin arvioinnin osa-alueisiin. Vaikka tiedon keruussa voi olla systemaattisuutta, pragmaattisen arvioinnin haasteeksi voi muodostua kuitenkin metodologian puute sekä arvioinnin subjektiivisuus, jolloin myös luotettavuuden kysymykset nousevat esille. Hankkeen vaikutuksia ja vaikuttavuutta saatetaan tällöin ylitulkita, jolloin huomioon ei oteta esimerkiksi interventiotutkimuksissa osoitettuja tuloksia vinouttavia tekijöitä kuten Hawthorne efektiä (Rezk et al. 2021). Pienissä hankkeissa arvioinnin toteuttaminen tutkimuksellisena on kuitenkin mahdotonta jo rajallisten henkilöresurssien sekä asiantuntijuuteen ja ajankäyttöön liittyvien tekijöiden vuoksi.

Myös pienten hankkeiden arvioinnin objektiivisuutta ja luotettavuutta on mahdollista parantaa menetelmällisillä ratkaisuilla. Evaluaation rakennemalli (ks. Rossi ym. 2004; Suntio 2004) tarjoaa pragmaattisen viitekehyksen hankkeen arviointiin ja sitä voidaan soveltaa tietyin rajauksin myös vaikutusten arviointiin (vrt. Drummod et al. 2015). Mallissa arviointi kohdistetaan hankesuunnitelmassa esitetyn palvelusuunnitelman toteutumisen ja vaikutusten arviointiin. Palvelusuunnitelma avataan mallissa ensin kuvaamalla kehittämistoimenpiteiden kohdeväestö ja palvelukenttä sekä hankeen resurssit ja toimenpiteet. Arvioinnissa tarkastellaan kriittisesti ja objektiivisesti hankkeen resurssien ja toimenpiteiden kohdentumista palvelukenttään ja kohdeväestöön sekä niillä aikaan saatuja tuloksia ja haasteita. Vaikutusten arvioinnissa tarkastellaan hankkeella saavutettuja tuloksia sekä lyhyellä että pitkällä aikavälillä. Kriittisessä arvioinnissa tarkasteluun otetaan myös mahdolliset kielteiset vaikutukset tai tulokset (ks. Mathur 2016). Mallin avulla on helppo arvioida systemaattisesti hankkeiden toimintaa ja vaikutuksia. Jos hankkeiden arviointiin on mahdollista toteuttaa varsinaista arviointitutkimusta, silloin realistisen arvioinnin lähestymistapa on suositeltava valinta. Sitä puoltaa realistisen arvioinnin teoreettisen ja metodologisen kehittämisen pitkät perinteet (mm. Pakarinen 2008) sekä sovellettavuus johtamisen tukena (ks. Kettunen 2018; Kreindler 2018).

Tiedon tarve, arviointikysymykset ja jaettu arvo ratkaisujen ytimessä

Arviointitutkimuksessa keskeistä on arviointikysymyksen muodostaminen (mm. Räisänen & Goman 2018). Tiedon hallinnan parantaminen edellyttääkin TKI-toimintaan kohdistuvien kysymysten muodostamista (ks. Oksanen 2022). Vaikuttavuuden arvioinnissa suuntauksena on ollut viime aikoina huomion kohdistaminen lineaaristen mallien sijaan systeemitarkasteluun ja yhteisen arvon muodostamiseen (ks. Galvango 2014; Vaikuttavuuden talo 2023, Vaikuttavuusseura 2023). Yhteistä arvonluomista käsittelevien arviointikysymysten luominen voi osoittautua kompleksiseksi tehtäväksi ekosysteemissä vallitsevien erilaisten tavoitteiden takia (mm. Malin 2023). Ketterä-hankkeen (2023) tekemäni arvioinnin perusteella jaettu arvo muodostui kestävyyden ja skaalautuvuuden teemoille. Kestävyys (ks. YK-liitto 2023) yhdistää sekä hankkeeseen yhdistyneet resilienssin ja muutoskyvykkyyden tavoitteet, jotka ovat keskeisiä tavoitteita yritysten jatkuvuuden sekä ammattikorkeakoulun strategisissa tavoitteissa, että rahoituksen vaatimuksissa. Horisontaalinen sekä vertikaalinen (up and down) skaalautuvuus liittyy keskeisesti kestävyyteen. Konkreettisella, näkyvällä TKI-toiminnan tasolla (Oksanen 2022) se tarkoittaa liiketoiminnan ja TKI-toiminnan volyymin joustavuutta, TKI-hankkeiden tulosten hyödyntämistä jatkohankkeissa ja osallistujaorganisaatioissa sekä kykyä muokata joustavasti hankkeen toimenpiteitä projektin edetessä.

Ketterä-hankkeessa vertikaalinen skaalautuvuus muodostui toimenpiteiden laadullisena laajentamisena kohdeyleisönä olevia yrityksiä kohtaan ratkaisuna sekä yritystarpeisiin että hankkeeseen liittyneiden yritysten lukumäärän odotettua pienempään lukumäärään. Vertikaaliseksi skaalautuvuudeksi tulkitsin myös hankkeen tavoitteiden yhdistämisen ammattikorkeakoulun tarjoamiin projektiopintoihin sekä ammatillisten opettajaopiskelijoiden opintoja. Vertikaalisena ”ylös”-skaalautumiseksi voidaan arvioida hankeidean jalostamista laajemmalle kohdeyleisölle suunnattuun laajamittaiseen uuteen kehittämishankkeeseen. Kyseessä on kuitenkin vielä lyhyen aikavälin tulosten arvioinnista ja pitkän aikavälin vaikuttavuutta tulisikin tarkastella tässä esitetyn arviointimallin laajennuksena osana TKI-toiminnan arvon luomisen ekosysteemiä.

Systemaattisen tiedon kerääminen TKI-toiminnan johtamisen tueksi edellyttää strategiaan perustuvia linjauksia keskeisten tutkimuskysymysten laatimiseksi. Hankkeissa toteutetulla itsearvioinnilla on oma roolinsa, mutta hankkeen ulkoisella, systemaattisella ja arviointitutkimuksen teoriaan sekä metodologiaan perustuvalla arvioinnilla voidaan tuottaa uusia ratkaisuja hallinnan haasteisiin.

Lähteet

Arene. 2020. Ammattikorkeakoulujen rehtorineuvosto. Kestävä, vastuullinen ja hiilineutraali ammattikorkeakoulu – Ammattikorkeakoulujen kestävän kehityksen ja vastuullisuuden ohjelma. Viitattu 31.08.2023. Saatavissa https://www.arene.fi/julkaisut/raportit/kestava-vastuullinen-ja-hiilineutraali-ammattikorkeakoulu-ammattikorkeakoulujen-kestavan-kehityksen-ja-vastuullisuuden-ohjelma/

Arene. 2023. Ammattikorkeakoulujen TKI-toiminta kerätty ensimmäistä kertaa yhteen osoitteeseen – toiminta laajentunut valtavasti viime vuosina. Ammattikorkeakoulujen rehtorineuvosto Arene ry. Viitattu 31.08.2023. Saatavissa https://www.tuni.fi/fi/ajankohtaista/ammattikorkeakoulujen-tki-toiminta-keratty-ensimmaista-kertaa-yhteen-osoitteeseen

Drummond, S. M. J., Claxton, K., Stoddart, G. L., & Torrance, G. W. 2015. Methods for the Economic Evaluation of Health Care Programmes. Oxford University Press.

Galvagno, M. & Dalli, D. 2014. Theory of Value Co-creation. A Systematic Literature Review. Managing Service Quality: An International Journal. Vol. 24 (6), 643-683. Viitattu 01.09.2023. Saatavissa https://doi.org/10.1108/MSQ-09-2013-0187

Godenhjelm, S. & Sjöblom , S. 2020. Temporary organisations as hybrids : Challenges and mechanisms for public value creation. In J. Vakkuri. & J-E. Johanson (eds). Hybrid Governance, Organisations and Society: Value Creation Perspectives. Abingdon: Routledge. 92-112. Viitattu 01.09.2023. Saatavissa https://doi.org/10.4324/9780429286247-8

Heisler, M., Lapidos, A., Kieffer, E., Henderson, J., Guzman, R., Cunmulaj, J., Wolfe, J., Meyer, T.. & Ayanian, J. Z. 2022. Impact on Health Care Utilization and Costs of a Medicaid Community Health Worker Program in Detroit, 2018-2020: A Randomized Program Evaluation. American Journal of Public Health 112(5), 766–775. Viitattu 01.09.2023. Saatavissa https://doi.org/10.2105/AJPH.2021.306700

Joseph, S., Klein, S., McCluskey, S., Woolnough, P. & Diack, L. 2019. Inter-agency adult support and protection practice: A realistic evaluation with police, health and social care professionals. Journal of Integrated Care, 27(1), 50–63. Viitattu 01.09.2023. Saatavissa https://doi.org/10.1108/JICA-06-2018-0041

Ketterä. 2023. Työhyvinvoinnin, osaamisen ja työurien muutoskyvykkyyttä mikro- ja pk-yrityksille. Lab ammattikorkeakoulu. Viitattu 31.08.2023. Saatavissa https://lab.fi/fi/projekti/kettera-tyohyvinvoinnin-osaamisen-ja-tyourien-muutoskyvykkyytta-mikro-ja-pk-yrityksille

Kettunen, P. 2018. Vaikuttavuusarvioinnin kytkeminen osaksi johtamista. Hallinnon tutkimus. Vol. 37 (3), 176–186. Viitattu 31.08.2023. Saatavissa https://journal.fi/hallinnontutkimus/article/view/98210

Kivipelto, M. 2008. Osallistava ja valtaistava arviointi. Johdatus periaatteisiin ja käytäntöihin. Stakes. Työpapereita 17/2008. Viitattu 31.08.2023. Saatavissa https://www.julkari.fi/bitstream/handle/10024/75668/T17-2008-VERKKO.pdf

Korhonen, K. 2006. Miten päätökset onnistuvat epävarmuudessa? Bayes-menetelmiä testataan myös terveydenhuollossa. IMPAKTI- Tietoa terveydenhuollon menetelmien arvioinnista 4/2006. Terveydenhuollon menetelmien arviointiyksikkö Finohta. Viitattu 31.08.2023. Saatavissa https://www.julkari.fi/handle/10024/77823

Kreindler, S. A. 2018. Advancing the evaluation of integrated knowledge translation. Health Research Policy and Systems, 16 (1), 104–104. Viitattu 01.09.2023. Saatavissa https://doi.org/10.1186/s12961-018-0383-0

Malin, A-T. 2023. Competing governance objects – a challenge to the welfare system’s resilience. Prospettive in organizzazione 22. Viitattu 01.09.2023. Saatavissa https://prospettiveinorganizzazione.assioa.it/numero-22-international-edition-ehma-2023/

Mathur, H. M. 2016. Social Impact Assessment: An Approach to Improving Development Outcomes. Teoksessa H. M. Mathur (toim.) Assessing the Social Impact of Development Projects. Advances in Asian Human-Environmental Research. Cham: Springer International Publishing. 19–43. Viitattu 01.09.2023. Saatavissa https://doi.org/10.1007/978-3-319-19117-1_2

Morgan, D. D., Litster, C., Winsall, M., Devery, K. & Rawlings, D. 2021. “It’s given me confidence”: a pragmatic qualitative evaluation exploring the perceived benefits of online end-of-life education on clinical care. BMC Palliative Care, 20 (1), 57–57. Viitattu 01.09.2023. Saatavissa https://doi.org/10.1186/s12904-021-00753-y

Oksanen, T. 2022. TKI-toiminnan tietämyksen hallinta – missä olemme ja mitä on näkyvillä? Tieteessä tapahtuu 5/2023. Viitattu 1.9.2023. Saatavissa https://www.tieteessatapahtuu.fi/index.php/numerot/5-2022

Owen, J.M. 2006. Program Evaluation: Forms and approaches (3rd ed.). Routledge. Viitattu 1.9.2023. Saatavissa https://doi.org/10.4324/9781003116875

Pakarinen, T. 2008. Realistinen arviointi ja organisaatiotutkimus – näkymätön näkyväksi? Hallinnon tutkimus Vol. 27 Arvioinnin teemanumero. s.104–111. Viitattu 31.8.2023. Saatavissa https://journal.fi/hallinnontutkimus/article/view/100653

Pasternack, I., Fogelholm, C. & Koskinen, E. 2018. Selkäydinvammapotilaiden kuntoutuksen vaikuttavuus. Sosiaali- ja terveysturvan tutkimuksia 151. Kela. Viitattu 31.8.2023. Saatavissa http://urn.fi/URN:NBN:fi-fe2018083134353 

Patton, M. Q. 2012. Essentials of utilization-focused evaluation. Utilization-focused evaluation. The new century text. 3.painos. London: Sage.

Pawson, R. & Tilly, N. 1998. Realistic evaluation. 2.painos. London: Sage.

Rajavaara, M. 2007. Vaikuttavuusyhteiskunta. Sosiaalisten olojen arvostelusta vaikutusten todentamiseen. Helsinki: Kelan tutkimusosasto. Sosiaali-  ja terveysturvan tutkimuksia 84.

Rezk, F., Stenmarker, M., Acosta, S., Johansson, K., Bengnér, M., Åstrand, H., & Andersson, A.-C. (2021). Healthcare professionals’ experiences of being observed regarding hygiene routines: the Hawthorne effect in vascular surgery. BMC Infectious Diseases, 21(1), pp. 420–420. Viitattu 31.8.2023. Saatavissa https://doi.org/10.1186/s12879-021-06097-5

Ristolainen, H., Tiilikainen, E., & Rissanen, S. (2019). Kotona asuvien ikäihmisten palveluohjauksen vaikuttavuus – kuvaileva kirjallisuuskatsaus. Gerontologia, 32(4), s. 252–274. Viitattu 1.9.2023. Saatavissa https://doi.org/10.23989/gerontologia.75681

Rossi, P. H., Freeman, H. E. & Lipsey, M. W. 2004. Evaluation: A systemic approach. 7.painos Sage publication.

Räisänen, A. & Goman, J. 2018. Ammatillisen koulutuksen osaamisperusteisuus, asiakaslähtöisyys ja toiminnan tehokkuus. Politiikkatoimien vaikutusten arviointi (ex ante). Valtioneuvoston selvitysja tutkimustoiminnan julkaisusarja 86/2017. Valtioneuvoston kanslia. Viitattu 31.8.2023. Saatavissa https://tietokayttoon.fi/julkaisu?pubid=24201

Saunders. R. P. 2016. Implementation monitoring & process evaluation. Sage Publishing.

Seppänen-Järvelä, R. 2004. Prosessiarviointi kehittämisprojektissa: Opas käytäntöihin. Stakes, FinSoc Arviointiraportteja 4/2004. Viitattu 31.8.2023. Saatavissa https://urn.fi/URN:NBN:fi-fe201204193978 

Suntio, A-T. 2004. Hankelähtöinen toiminnan tutkimus. Teoksessa H. Kotila & A. Mutanen (toim.). Tutkiva ja kehittävä ammattikorkeakoulu. Helsinki: Edita. 163–176.

THL. 2023a. KUVA-mittaristo. SOTE-palvelujen johtaminen. Arviointi ja seuranta. Terveyden ja hyvinvoinnin laitos. Viitattu 31.8.2023. Saatavissa https://thl.fi/fi/web/sote-palvelujen-johtaminen/arviointi-ja-seuranta/sosiaali-ja-terveydenhuollon-jarjestamisen-arviointi/kuva-mittaristo

THL. 2023b. Vaikuttavuus ja kustannukset. Hyvinvointi- ja terveyserot – Seuranta ja vaikuttavuus. Terveyden ja hyvinvoinnin laitos. Viitattu 31.8.2023. Saatavissa https://thl.fi/fi/web/hyvinvointi-ja-terveyserot/seuranta-ja-vaikuttavuus/vaikuttavuus-ja-kustannukset

Vaikuttavuusseura. 2023. Vuoden Vaikuttavuusteot 2022 on valittu. Vaikuttavuusseura ry. Viitattu 31.8.2023. Saatavissa https://vaikuttavuusseura.wordpress.com/category/vaikuttavuusteko/

Vaikuttavuuden talo. 2023. Sosiaali- ja terveyspalveluiden sekä niiden integraation vaikuttavuus ja kustannusvaikuttavuus. Viitattu 31.8.2023. Saatavissa https://sites.uef.fi/vaikuttavuuden-talo/vaikuttavuus-ja-kustannusvaikuttavuus/

VN. 2022. Tutkimus- ja kehittämistoiminnan rahoituksen käyttöä koskeva monivuotinen suunnitelma. Parlamentaarisen TKI-työryhmän 2022 loppuraportti. Parlamentaarinen TKI-työryhmä 2022. Valtioneuvoston julkaisuja 2023:13. Viitattu 1.9.2023. Saatavissa http://urn.fi/URN:ISBN:978-952-383-978-6

Väänänen, I. & Peltonen, K. 2020. Siiloista saumattomaan opetuksen ja TKI-toiminnan integrointiin ammattikorkeakouluissa. Ammattikasvatuksen Aikakauskirja, 22(2), 52–69. Viitattu 31.8.2023. Saatavissa https://journal.fi/akakk/article/view/95963

YK-liitto. 2023. Kestävän kehityksen tavoitteet. Suomen YK-liitto. Viitattu 1.9.2023. Saatavisssa https://www.ykliitto.fi/kestava-kehitys

Zamberg, I., Manzano, S., Posfay-Barbe, K., Windisch, O., Agoritsas, T., & Schiffer, E. 2020. A Mobile Health Platform to Disseminate Validated Institutional Measurements During the COVID-19 Outbreak: Utilization-Focused Evaluation Study. JMIR Public Health and Surveillance, 6(2), e18668–e18668. https://doi.org/10.2196/18668

Kirjoittaja

Arja-Tuulikki Malin, HTT, KL, VTM on johtamista tutkiva ja kehittävä lehtori, joka on tehnyt arviointitutkimusta jo 20 vuotta. Hän on toiminut Ketterä-hankkeen projektipäällikkönä.

Artikkelikuva: https://pxhere.com/fi/photo/39150 (CC0)

Julkaistu 11.9.2023

Viittausohje

Malin, A-T. 2023. Arviointitutkimuksesta ratkaisuja TKI-toiminnan kehittämiseen. LAB RDI Journal. Viitattu pvm. Saatavissa https://www.labopen.fi/lab-rdi-journal/arviointitutkimuksesta-ratkaisuja-tki-toiminnan-kehittamiseen/