Vihreä siirtymä, muutoskyvykkyys ja digitalisaatio (REACT Etelä-Suomi) – yritysten edustajille suunnatun palautelomakkeen suunnitteluprosessi

LAB-ammattikorkeakoulu aloitti hyvinvointiyksikön johdolla osatoteuttajana Vihreä siirtymä, muutoskyvykkyys ja digitalisaatio -hankkeessa joulukuussa 2022. Hankkeen tavoitteena on edistää pienten ja keskisuurten yritysten vihreää siirtymää, muutoskyvykkyyttä ja digitalisaatiota tuottamalla uudenlaisia osaamisen kehittämisen oppimiskokonaisuuksia ja tapahtumia. LAB-ammattikorkeakoulun vastuulla on osaamisen kehittämisen työpaketin koordinointi ja kyseisen työpaketin toimien vaikutusten arviointi ja raportointi. Tässä artikkelissa kuvataan vaikutusten arvioinnin tueksi luodun palautelomakkeen suunnitteluprosessia ja pohditaan yleisellä tasolla vaikutusten ja vaikuttavuuden arvioinnin mahdollisuuksia lyhyessä hankkeessa.

Kirjoittajat: Anu Venesoja & Johanna Irjala

Vihreä siirtymä, muutoskyvykkyys ja digitalisaatio -hankkeen tausta ja tarve palautelomakkeelle

Yritysten vihreä siirtymä, muutoskyvykkyys ja digitalisaatio (REACT) -hankkeessa on mukana 22 ammattikorkeakoulua. Hanke on vuoden pituinen ja kattaa koko Suomen. Koska hankkeeseen osallistuu ammattikorkeakouluja kaikkialta Suomesta, hanke on jaettu neljään suuralueeseen (Etelä-Suomi, Pohjois-Suomi, Itä-Suomi ja Länsi-Suomi) hallinnoinnin helpottamiseksi. REACT-hankkeen tarkoituksena on vahvistaa korkeakoulujen ja yritysten välistä yhteistyötä uuden oppimisen ja kehittämisen osalta erilaisissa vihreään siirtymään, digitaalisuuteen ja muutoskyvykkyyteen liittyvissä oppimiskokonaisuuksissa. Hankkeen tavoitteena on tuottaa oppimiskokonaisuuksien avulla tarvittavat lähtötiedot yritysten ja yrittäjien muutoskyvykkyydelle, kestävälle systeemimuutokselle, vihreälle siirtymälle, uusien teknologioiden hyödyntämiselle ja toimintamallien kehittämiselle yrityksissä. (Euroopan Unioni 2022; LAB.fi 2022)

LAB-ammattikorkeakoulu osallistuu REACT-hankkeeseen osatoteuttajana Etelä-Suomen suuralueella. LAB-ammattikorkeakoulun vastuulla on osaamisen kehittämisen työpaketin koordinointi ja kyseisen työpaketin toimien vaikutusten arviointi ja raportointi. (Euroopan Unioni 2022) Osana työpakettia tarkoituksena oli luoda vaikutusten arvioinnin tueksi työpaketin osaamisen kehittämisen toimiin osallistuneille yrittäjille ja yritysten työntekijöille suunnattu palautelomake, jonka avulla voidaan arvioida Etelä-Suomen REACT-hankkeen vaikutuksia. Tavoitteena oli rakentaa palautelomake niin, että se olisi hyödynnettävissä mahdollisimman monessa työpaketissa.

Palautelomakkeen työstäminen

Palautelomakkeen suunnittelussa hyödynnettiin kyselylomakkeen suunnitteluun liittyvää tutkimustietoa (Boynton & Greenhalgh 2004; O’Connor 2022; Tietoarkisto). Palautelomake luotiin LAB-ammattikorkeakoulun Webropol®-alustalle. Vastausten keräämistä varten palautelomakkeelle on luotu sekä erillinen linkki, että QR-koodi, jotka ohjaavat vastaajat lomakkeelle.

Palautelomaketta työstettiin aluksi LAB-ammattikorkeakoulun REACT-hankkeen toteuttajatiimin kanssa yhteistyössä. Palautelomake suunniteltiin aluksi vastaamaan osaamisen kehittämisen toimiin osallistuvilta henkilöiltä palautteen keräämiseksi, osana työpaketin koordinointia. Pian kuitenkin huomattiin hankkeessa olevan tarvetta osallistujapalautteen keräämiseen myös muissa hankkeen toteuttamissa toimissa. Näin ollen palautelomakkeen muokkausta jatkettiin yhteistyössä alueellisten tapahtumien, mikro-oppimisen kurssien koordinoinnista ja hankkeen tulosten koonnista sekä levittämisestä vastaavien osatoteuttajien kanssa.

Muokkausten jälkeen palautelomake esiteltiin Etelä-Suomen REACT-hankkeen osatoteuttajien projektipäälliköille. Palautelomakkeen kysymyksistä oli lisäksi tehty erillinen PowerPoint-esitys kommentointia varten. Esitys oli tutustuttavissa ja kommentoitavissa Etelä-Suomen REACT-hankkeen hallinnoijan ylläpitämällä Teams-kanavalla. Ennen julkaisua palautelomakkeen visuaalista ulkoasua hiottiin LAB-ammattikorkeakoulun muotoilun asiantuntijan kanssa.

Palautelomakkeen rakenne

Jotta vastaukset ovat myöhemmin tarvittaessa kohdennettavissa yksittäisiin tapahtumiin, vastaajia pyydetään ilmoittamaan osallistumispäivämäärä ja se, millä tavoin hän on osallistunut tapahtumaan. Taustatietokysymyksiä ovat lisäksi vastaajan sukupuoli, ikä (alle 25 vuotta, 25–29 vuotta, 30–54 vuotta ja yli 54 vuotta), vastaajan rooli yrityksessä, vastaajan edustaman yrityksen koko ja mitä kautta vastaaja oli saanut tiedon tapahtumasta. Taustatietokysymysten osalta hyödynsimme hankesuunnitelmaa (Euroopan Unioni 2022; LAB.fi 2022) ja Tilastokeskuksen yritysten toimialaluokitusta (Tilastokeskus 2008). Hankkeen teemat toimivat muiden kysymysten pohjana. Kuvassa 1 havainnollistetaan palautelomakkeen kysymyksiä ja ulkoasua.

Kuva 1. Yrittäjille ja yritysten työntekijöille suunnatun palautelomakkeen ulkoasu (Kuva: Anu Venesoja & Johanna Irjala)

Palautelomakkeessa vastaajia pyydetään arvioimaan, mitkä kolme hankkeen teemojen mukaista osa-aluetta he arvioivat tärkeimmiksi kehittämiskohteiksi edustamassaan yrityksessä. Osa-alueet ovat: muutoskyvykkyys, innovaatiokyvykkyys, työhyvinvointi, kilpailukyky, ilmastotoimet, ympäristötoimet, kiertotalousajattelu, ympäristötietoisuus, kestävän kehityksen huomiointi, digitalisaatio, digiosaaminen, robotiikan käyttö ja tekoälyn käyttö. Yhteisen ymmärryksen luomiseksi kysymysten yhteydessä on kerrottu lyhyesti, mitä näillä termeillä tarkoitetaan.

Seuraavassa kysymyksessä vastaajia pyydetään arvioimaan sitä, kuinka todennäköisesti tapahtumaan osallistuminen tai kurssin suorittaminen saa aikaan muutoksia yrityksen toiminnassa. Arviointiasteikkona käytetään asteikkoa 1–4, jossa 1 tarkoitti eritäin epätodennäköisesti ja 4 erittäin todennäköisesti. Vastaajilla on mahdollisuus valita myös vaihtoehto ”ei käsitelty”, sillä kaikissa tapahtumissa tai kursseilla ei käsitellä kaikkia hankkeen teemoja.

Lopuksi vastaajalta kysytään aikomusta osallistua hankkeen muihin tapahtumiin tai kursseille sekä sitä, kuinka todennäköisesti hän suosittelisi tapahtumaa muille. Suosittelukysymyksessä hyödynnetään NPS-mittaria, jossa arvosanan 9–10 antaneet katsotaan suosittelijoiksi, 7–8 passiivisiksi ja 0–6 kriitikoiksi (Reichheld 2003). Mikäli vastaaja valitsee NPS-mittarin asteikolta arvosanan 0–6, ohjataan hänet vastaamaan lisäkysymykseen ’Mitä olisit toivonut, että olisimme tehneet toisin?’ Lopuksi vastaajilla on mahdollisuus vapaasti kommentoida aihetta ’Mitä muuta haluaisit vielä sanoa?’.

Pohdintaa palautelomakkeen käytettävyydestä ja vaikutusten arvioinnista

Palautelomake on suunniteltu yhteistyössä kaikkien Etelä-Suomen REACT-hankkeen osatoteuttaja-ammattikorkeakoulujen kanssa. Lisäksi kysymysten pohjana on käytetty hankkeen teemoja ja taustatietokysymyksissä on huomioitu hankehakemuksessa esitetyt tavoitteet ja hankehakemuksen tavoitteiden mukainen luokittelu, esimerkiksi ikäkysymyksen osalta. Tekemällä yhteistyötä palautelomakkeen suunnittelussa, pyrittiin siihen, että yksi lomake soveltuisi mahdollisimman hyvin eri tapahtumien, tilaisuuksien ja koulutuskokonaisuuksien käyttöön. Näin kerättävä tieto olisi mahdollisimman yhteneväistä ja vertailukelpoista ja voitaisiin välttää se, että yksi vastaaja joutuisi yhden osallistumiskerran aikana vastaamaan useampaan eri kyselyyn. Toisaalta yleisluontoiseksi moneen tilanteeseen sopivaksi suunniteltu lomake ei ehkä anna kovin spesifiä palautetta, koska palautteen kohteena olevien toimien skaala vaihtelee pienistä paikallisista työpajatapahtumista isoihin suuraluetapahtumiin ja itsenäisiin verkkokursseihin. Tavoitteena on edesauttaa osallistujapalautteiden mahdollisimman suuren vastaajamäärän saavuttamista.

On vielä aikaista sanoa, miten ja kuinka laajasti palautelomakkeella saadaan kerättyä tietoa yritysten edustajilta. On todettu, että kasvotusten toteutettavat kyselyt tuottavat suuremman vastaajamäärän kuin muulla tapaa (esim. nettikysely, postikysely) jaetut kyselyt. Toisaalta ei ole täysin varmaa, vaikuttaako kasvotusten tapahtuva keräys myös sovelluspohjaisiin kyselyihin. (Nulty 2008) Kyselylomakkeen linkin ja QR-koodin jakelusta on viestitty ja ohjattu Etelä-Suomen REACT-hankkeen työpakettien vastuuhenkilöitä. Lisäksi tapahtumien ja kurssien vastuuhenkilöitä on pyydetty rakentamaan tapahtumaan tai kurssille luonteva hetki vastata kyselyyn. On hyvä huomata, että vähäinen vastaajamäärä on yleisesti todettu heikkoudeksi internet- ja sovelluspohjaisissa kyselyissä (Mudavath & Narayan 2019). Riskinä voikin olla vähäinen palautelomakkeiden täyttöaste.

Palautelomake on pyritty muotoilemaan mahdollisimman käyttäjäystävälliseksi. Palautelomakkeessa on pääosin nopeasti täytettäviä strukturoituja vastausvaihtoehtoja ja mahdollisimman vähän avoimia kysymyksiä. Tästä syystä lomake saattaa vaikuttaa vastaajan näkökulmasta pitkältä, vaikka lomake on pyritty suunnittelemaan mahdollisimman yksinkertaiseksi, sillä lyhyiden ja täsmällisten kysymysten on todettu houkuttelevan vastaajia vastaamaan kyselyyn (Saleh & Bista 2017). Palautelomakkeella saadut tiedot hankkeen toimiin liittyen tullaan kokonaisuudessaan raportoimaan hankkeen loppuraportissa.

Etelä-Suomen alueen yhteisessä hankehakemuksessa on käytetty termejä ’vaikutukset’ ja ’vaikuttavuus’. Sitran selvityksen mukaan vaikuttavuus tarkoittaa yhteiskunnallista hyötyä. Vaikuttavuuslähtöinen toiminta alkaa tekojen vaatimien resurssien tarkastelusta. Seuraavaksi tulisi tunnistaa kohderyhmät ja segmentoida ne. Vasta sen jälkeen päästään tarkastelemaan mitattavia tekoja. Teot tulisi kehittää yhdessä kohderyhmien kanssa. Vaikuttavuus- ja vaikutustavoitteista käsin määriteltyjen tekojen jatkuvalla seurannalla voidaan ennakoida keskipitkän ja pitkän aikavälin muutosten toteutumisen todennäköisyyttä. (Heliskoski ym. 2018)

Vaikutuksilla tarkoitetaan konkreettisia muutoksia ihmisten käyttäytymisessä tai usein myös yhteisöjen tai yhteiskunnan rakenteissa. Vaikutusten osalta on esitetty, että ne syntyvät vasta keskipitkällä (3–6 vuotta) aikavälillä. Sitran selvityksen mukaan vaikuttavuus olisi osoitettavissa keskipitkällä (3–6 vuotta) tai pitkällä (> 6 vuotta) aikavälillä. (Heliskoski et al. 2018) Toisaalta myös yritystoiminnan osalta on esitetty, että paras tapa mitata kehittämistoimien vaikuttavuutta olisi käyttää lääketieteestä tuttua interventio- ja verrokkiryhmiin jakamista (Einiö & Hyytinen 2019).

On aiheellista kysyä, voiko vuoden kestävän hankkeen aikana toteuttaa lainkaan vaikuttavuuden arviointia, ja miltä osin edes on mahdollista arvioida näin lyhyen hankkeen vaikutuksia saatikka vaikuttavuutta? Toisaalta saattaa olla mahdollista, että REACT-hankkeen loppuraportissa raportoituja tuloksia käytetään vasta myöhemmin tapahtuvan vaikuttavuuden arvioinnin yhteydessä jonkin toisen toimijan taholta. Palautelomakkeen rakenteen suunnittelussa onkin huomioitu tulevaisuusnäkökulma ja kyselyllä saatujen tietojen myöhempi hyödyntämisen mahdollisuus. Palautelomakkeella saatuja tuloksia voidaan hyödyntää esimerkiksi jatkohankkeita ja uusia tukitoimia suunniteltaessa. Palautelomakkeella on mahdollista saada uutta tietoa hankkeen kohderyhmän tarpeista vihreään siirtymään, muutoskyvykkyyteen ja digitalisaatioon liittyen. Kohderyhmän ilmaisemia tarpeita voi hyödyntää esimerkiksi jatkohankkeiden suunnittelussa.

Lähteet

Boynton, P.M. & Greenhalgh, T. 2004. Selecting, designing, and developing your questionnaire. BMJ : British Medical Journal. Vol. 328(7451), 1312–1315. Viitattu 2.5.2023. Saatavissa https://doi.org/10.1136/bmj.328.7451.1312

Einiö, E. & Hyytinen, A. 2019. Yritystukien vaikuttavuuden arviointi satunnaistettujen vertailukokeiden avulla. Valtioneuvoston selvitys- ja tutkimustoiminnan julkaisusarja 2019:45. Viitattu 10.5.2023. Saatavissa http://urn.fi/URN:ISBN:978-952-287-765-9

Euroopan Unioni. 2022. Euroopan sosiaalirahaston (ESR) rahoittaman hankkeen kuvaus. Viitattu 4.4.2023. Saatavissa https://www.eura2014.fi/rrtiepa/projekti.php?projektikoodi=S22899

Heliskoski, J., Humala, H., Kopola, R., Tonteri, A. & Tykkyläinen, S. 2018. Vaikuttavuuden askelmerkit, Työkaluja ja esimerkkejä palveluntuottajille. Viitattu 10.5.2023. Saatavissa https://www.sitra.fi/app/uploads/2018/03/vaikuttavuuden-askelmerkit.pdf

LAB.fi. 2022. Yritysten vihreä siirtymä, muutoskyvykkyys ja digitalisaatio (React, Etelä-Suomi). Viitattu 4.4.2023. Saatavissa https://lab.fi/fi/projekti/yritysten-vihrea-siirtyma-muutoskyvykkyys-ja-digitalisaatio-react-etela-suomi

Mudavath, N. & Narayan, K.A. 2019. Strengths and Weakness of Online Surveys. IOSR Journal of Humanities and Social Sciences (IOSR-JHSS). Vol. 24(5), 31–38. Viitattu 2.5.2023. Saatavissa https://www.iosrjournals.org/iosr-jhss/papers/Vol.%2024%20Issue5/Series-5/E2405053138.pdf

Nulty, D.D. 2008. The adequacy of response rates to online and paper surveys: what can be done? Assessment & Evaluation in Higher Education. Vol. 33(3), 301–314. Viitattu 2.5.2023. Saatavissa https://doi.org/10.1080/02602930701293231

O’Connor, S. 2022. Designing and Using Surveys in Nursing Research: A Contemporary Discussion. Clinical Nursing Research. Vol. 31(4), 567–570. Viitattu 2.5.2023. Saatavissa https://doi.org/10.1177/10547738211064739

Reichheld, F.F. 2003. The One Number You Need to Grow. Harvard business review. Vol. 83(12), 46–55. Viitattu 2.5.2023. Saatavissa https://www.nashc.net/wp-content/uploads/2014/10/the-one-number-you-need-to-know.pdf

Saleh, A. & Bista, K. 2017. Examining Factors Impacting Online Survey Response Rates in Educational Research: Perceptions of Graduate Students. Journal of MultiDisciplinary Evaluation. Vol. 13(29), 63–74. Viitattu 2.5.2023. Saatavissa https://doi.org/10.56645/jmde.v13i29.487

Tilastokeskus. 2008. Toimialaluokitus 2008. Viitattu 2.5.2023. Saatavissa https://www.stat.fi/fi/luokitukset/toimiala/

Tietoarkisto. Kyselylomakkeen laatiminen. Viitattu 24.3.2023. Saatavissa https://www.fsd.tuni.fi/fi/palvelut/menetelmaopetus/kvanti/kyselylomake/laatiminen/