Miten suunnitella toimivia arviointiasteikkoja käyttäjäkokemusten mittaamiseen?

Kirjoittaja: Sami Heikkinen

Likert vai semanttinen differentiaali?

Käyttäjäkokemuksen mittaamiseen käytetään yleisesti kahta erilaista arviointiasteikkoa: Likert-tyyppistä asteikkoa, jossa käytetään samanmielisyyden tasoja, sekä semanttista differentiaalia, jossa hyödynnetään kysymyskohtaisia ääripäitä. Tutkimukset ovat osoittaneet, että molemmat asteikkotyypit toimivat yhtä hyvin (Lewis 2019).

Likert-asteikolla on kuitenkin epäilty olevan niin kutsuttu ”myöntyvyystaipumus”, jossa vastaajat saattavat olla hieman alttiimpia vastaamaan myönteisesti. Tutkimukset eivät kuitenkaan ole vahvistaneet tätä oletusta, vaan päinvastoin joissakin tapauksissa kysymyskohtaiset asteikot ovat tuottaneet korkeampia arvioita (Lewis 2019).

Milloin kerätä käyttäjäpalautetta?

Käyttäjäpalautteen keräämisessä ajoitus on ratkaisevan tärkeää. Palautetta voidaan kerätä useissa eri vaiheissa: välittömästi tehtävän jälkeen (post-task ratings), koko käyttösession päätteeksi (post-study ratings) tai esimerkiksi verkkosivuston käytön jälkeen poistumiskyselynä (exit survey).

Tehtäväkohtaiset arvioinnit auttavat tunnistamaan yksittäisiä ongelmakohtia käyttöliittymässä. Ne mahdollistavat nopean palautteen saamisen tietyistä toiminnallisuuksista. Koko käyttösession jälkeiset arvioinnit puolestaan antavat kokonaiskuvan käyttäjäkokemuksesta, kun käyttäjä on ehtinyt tutustua tuotteeseen perusteellisemmin.

Asteikon suunnittelun kulmakivet

Arviointiasteikon suunnittelussa on otettava huomioon useita tekijöitä. Yksi keskeisimmistä kysymyksistä on asteikon pisteiden määrä. Tutkimuskirjallisuus suosittelee käyttämään 5-7 pistettä, sillä yli yhdeksän pisteen asteikot harvoin tuottavat lisäarvoa (Cox 1980).

Toinen tärkeä kysymys on, tulisiko asteikossa olla parillinen vai pariton määrä vaihtoehtoja. Parittomassa asteikossa on keskikohta, joka mahdollistaa neutraalin vastauksen. Parillinen asteikko puolestaan pakottaa vastaajan kallistumaan jompaankumpaan suuntaan. Useimmissa tilanteissa neutraali vastausvaihtoehto on perusteltu, sillä se voi olla vastaajan aito mielipide (Garland 1991).

Finstad (2010) havaitsi tutkimuksessaan, että 5-portaisissa asteikoissa vastaajilla oli suurempi taipumus käyttää ”väliarvoja” (kuten 3,5) kuin 7-portaisissa asteikoissa. Tämä viittaa siihen, että 7-portainen asteikko saattaa tuottaa tarkempia tuloksia etenkin suullisissa ja paperilomakekyselyissä.

Tiedonkeruun menetelmät

Käyttäjäpalautteen keräämiseen on käytettävissä kolme päämenetelmää: suullinen vastaaminen, paperilomakkeet ja verkkokyselyt. Jokaisella menetelmällä on omat vahvuutensa ja heikkoutensa.

Suullinen vastaaminen on käyttäjälle helpoin tapa, mutta se vaatii havainnoijan läsnäoloa ja voi johtaa sosiaalisesti suotaviin vastauksiin. Tämä menetelmä sopii parhaiten yksittäisten, nopeiden arvioiden keräämiseen tehtävien jälkeen.

Paperilomakkeet ja verkkokyselyt soveltuvat sekä lyhyiden että pidempien kyselyiden toteuttamiseen. Paperilomakkeet ovat usein helpompia laatia, mutta ne vaativat manuaalista tietojen syöttöä ja voivat johtaa tulkintavirheisiin käsialan vuoksi. Verkkokyselyiden luominen on nykyään yhä helpompaa lukuisten työkalujen ansiosta, ja käyttäjät ovat tottuneita vastaamaan niihin.

Sosiaalisen suotavuuden vaikutus

Tutkimukset ovat osoittaneet, että kasvokkain tai puhelimitse kerätty palaute on usein positiivisempaa kuin anonyymien verkkokyselyiden kautta saatu palaute. Tätä kutsutaan sosiaaliseksi suotavuudeksi (Dillman ym. 2008). Vastaajilla on taipumus antaa vastauksia, joiden he uskovat tekevän heihin paremman vaikutuksen muiden silmissä.

Tämän vuoksi on suositeltavaa kerätä palautetta tavalla, jossa moderaattori tai fasilitaattori ei näe käyttäjän vastauksia ennen kuin osallistuja on poistunut. Tämä voi tarkoittaa esimerkiksi sitä, että moderaattori poistuu huoneesta tai kääntyy pois käyttäjän täyttäessä kyselyä.

Usean mittarin käyttö

Tietyn ominaisuuden, kuten visuaalisen ilmeen, uskottavuuden tai responsiivisuuden arvioinnissa on suositeltavaa käyttää useita eri mittareita. Kun samaa asiaa kysytään eri tavoin, saadaan luotettavampaa tietoa. Vastaukset voidaan analyysivaiheessa yhdistää kokonaiskuvan muodostamiseksi.

Kyselyissä kannattaa käyttää sekä positiivisia että negatiivisia väittämiä. Tämä auttaa tunnistamaan epäjohdonmukaiset vastaukset ja varmistaa, että vastaaja on lukenut kysymykset huolellisesti.

Numeroiden käyttö asteikossa

Numeroiden käyttö asteikossa ei ole välttämätöntä, jos käytetään korkeintaan seitsemää vaihtoehtoa. Tutkimukset ovat osoittaneet, että ihmiset välttelevät nollan ja negatiivisten arvojen käyttöä (Schwarz ym. 1991). Siksi on suositeltavaa käyttää positiivisia numeroita, jos numeroita ylipäätään päätetään käyttää.

Numeroiden lisääminen voi kuitenkin olla hyödyllistä asteikon kasvaessa, sillä se auttaa vastaajaa hahmottamaan sijaintinsa asteikolla. Tärkeää on välttää negatiivisia arvoja (kuten -3, -2, -1, 0, +1, +2, +3), sillä ne voivat vaikuttaa vastaajien valintoihin.

Kyselytyökalujen valinta

Verkkokyselyiden toteuttamiseen on tarjolla lukuisia työkaluja, kuten Google Forms, Qualtrics, SurveyMonkey ja Typeform. Nämä työkalut tukevat erilaisia kysymystyyppejä, kuten arviointiasteikkoja, valintaruutuja, pudotusvalikkoja ja avoimia kysymyksiä. Useimmat työkalut tarjoavat mahdollisuuden kokeilla palvelua ilmaiseksi.

Käyttäjätutkimuksessa toimiva ratkaisu on sijoittaa kannettava tietokone tai tabletti osallistujan työpisteen viereen. Näin käyttäjä voi helposti palata tutkittavaan sovellukseen tai verkkosivustoon vastatessaan verkkokyselyyn.

Lopuksi

Arviointiasteikkojen suunnittelu on sekä tiedettä että taidetta. Vaikka tutkimus tarjoaa suuntaviivoja, jokainen tilanne on erilainen ja vaatii huolellista harkintaa. Hyvä käytäntö on testata erilaisia vaihtoehtoja pienellä käyttäjäryhmällä ennen laajempaa käyttöönottoa.

LAB-ammattikorkeakoulussa käyttäjäkokemusten mittaaminen on tärkeä osa opetusta ja TKI-toimintaa. Opiskelijat pääsevät harjoittelemaan erilaisten arviointiasteikkojen suunnittelua ja käyttöä osana opintojaan. Lisäksi mittaamisen menetelmiä sovelletaan aktiivisesti erilaisissa kehittämishankkeissa, joissa opiskelijat, opettajat ja työelämän edustajat kehittävät yhdessä uusia ratkaisuja palveluiden ja tuotteiden parantamiseen.

Lähteet

Cox, E. P. 1980. The Optimal Number of Response Alternatives for a Scale: A Review. Journal of Marketing Research. Vol. 17 (4), 407-422. Viitattu 19.11.2024. Saatavissa https://doi.org/10.2307/3150495

Dillman, D. A., Smyth, J. D. & Christian, L. M. 2008. Internet, Mail, and Mixed-Mode Surveys: The Tailored Design Method. Hoboken: Wiley.

Finstad, K. 2010. Response Interpolation and Scale Sensitivity: Evidence Against 5-Point Scales. Journal of Usability Studies. Vol. 5 (3), 104-110. Viitattu 19.11.2024. Saatavissa https://uxpajournal.org/response-interpolation-and-scale-sensitivity-evidence-against-5-point-scales/

Garland, R. 1991. The Mid-Point on a Rating Scale: Is it Desirable? Marketing Bulletin. Vol. 2, 66-70. Viitattu 19.11.2024. Saatavissa http://marketing-bulletin.massey.ac.nz/v2/mb_v2_n3_garland.pdf

Lewis, J. R. 2019. Comparison of Four TAM Item Formats: Effect of Response Option Labels and Order. Journal of User Experience. Vol. 14 (4), 224-236. Viitattu 19.11.2024. Saatavissa https://uxpajournal.org/tam-formats-effect-response-labels-order/

Schwarz, N., Knauper, B., Hippler, H. J., Noelle-Neumann, E. & Clark, L. 1991. Rating Scales: Numeric Values May Change the Meaning of Scale Labels. Public Opinion Quarterly. Vol. 55 (4), 570-582. Viitattu 19.11.2024. Saatavissa https://doi.org/10.1086/269282

Kirjoittaja

Sami Heikkinen, FM, KTM, opettaa palveluiden kehittämistä LAB-ammattikorkeakoulun liiketalouden yksikössä ja pyrkii mittaamaan kaiken mitattavissa olevan.

Artikkelikuva: https://pxhere.com/en/photo/207537 (CC0)

Viittausohje

Heikkinen, S. 2024. Miten suunnitella toimivia arviointiasteikkoja käyttäjäkokemusten mittaamiseen? Viitattu pvm. Saatavissa