Käyttökokemuksen mittaaminen on olennainen osa tuotteiden ja palveluiden kehittämistä. Erityisen tärkeää on ymmärtää, miten käyttäjät kokevat yksittäiset tehtävät ja toiminnot. Järjestelmälliset arviointitavat auttavat kehittäjiä tunnistamaan kehityskohteet ja priorisoimaan parannukset. Tässä kirjoituksessa perehdytään tehtävien jälkeiseen arviointiin ja sen erilaisiin toteutustapoihin.

Kirjoittaja: Sami Heikkinen

Tehtävien arvioinnin perusteet

Tehtävien jälkeisen arvioinnin päätavoite on ymmärtää, mitkä tehtävät käyttäjät kokevat haastaviksi ja mitkä helpoiksi. Tämä tieto auttaa kehittäjiä keskittymään niihin osa-alueisiin, jotka kaipaavat eniten huomiota. Sauro ja Dumas (2009) ovat kehittäneet yksinkertaisen mutta tehokkaan SEQ-mittarin (Single Ease Question), jossa käyttäjää pyydetään arvioimaan tehtävän vaikeutta 7-portaisella asteikolla erittäin vaikeasta erittäin helpoksi.

Yksinkertaisuudestaan huolimatta – tai ehkä juuri sen ansiosta – tämä on osoittautunut yhdeksi tehokkaimmista arviointitavoista. SEQ-mittarin vahvuus piilee sen helppokäyttöisyydessä: käyttäjän on vaivatonta vastata yhteen selkeään kysymykseen, ja vastaukset ovat helposti analysoitavissa. Mittari toimii erityisen hyvin, kun halutaan nopeasti tunnistaa käyttöliittymän ongelmakohtia.

Arvioinnin monet muodot

Lewis (1991) on kehittänyt ASQ-kyselyn (After-Scenario Questionnaire), joka koostuu kolmesta kysymyksestä. Nämä keskittyvät tehtävän suorittamisen helppouteen, ajankäyttöön ja tukimateriaalien toimivuuteen. ASQ tarjoaa monipuolisemman näkökulman käyttökokemukseen kuin pelkkä vaikeusasteen arviointi. Se huomioi tehokkuuden ja tukimateriaalien laadun osana kokonaiskokemusta. Jokaista väittämää arvioidaan 7-portaisella asteikolla, mikä mahdollistaa vastausten yksityiskohtaisen analyysin.

Tedesco ja Tullis (2006) vertailivat erilaisia arviointitapoja laajassa verkkotutkimuksessa, johon osallistui yli 1100 käyttäjää. He testasivat viittä erilaista arviointimenetelmää: tehtävän vaikeusasteen arviointia (SEQ-tyyppinen), sivuston käytettävyyden arviointia tehtävän osalta, ASQ-kyselyn muunnelmaa, odotuksiin perustuvaa mittaria sekä 100-pisteistä käytettävyysasteikkoa. Tutkimus osoitti, että eri arviointitavat tuottavat hyvin samankaltaisia tuloksia suurilla käyttäjämäärillä. Pienemmissä käyttäjätesteissä yksinkertainen vaikeusasteen arviointi osoittautui luotettavimmaksi menetelmäksi. Tämä on erityisen merkittävä havainto, sillä useimmat käytettävyystestit toteutetaan pienillä, noin 5-8 hengen otoksilla.

Odotusten merkitys

Albert ja Dixon (2003) ovat tuoneet arviointiin mielenkiintoisen näkökulman: käyttäjien ennakko-odotusten mittaamisen. Heidän menetelmässään käyttäjiltä kysytään ennen tehtävän suorittamista arvio sen oletetusta vaikeudesta ja verrataan tätä tehtävän jälkeiseen arvioon. Tämä lähestymistapa jakaa tehtävät neljään kategoriaan: ”Fix It Fast” – tehtävät, jotka osoittautuvat odotettua vaikeammiksi, ”Don’t Touch It” – tehtävät, jotka ovat odotetusti helppoja, ”Promote It” – tehtävät, jotka ovat yllättävän helppoja sekä ”Big Opportunities” – tehtävät, jotka ovat odotetusti vaikeita. Tämä jaottelu auttaa priorisoimaan kehitystyötä. Erityistä huomiota kannattaa kiinnittää ”Fix It Fast” -kategoriaan, sillä nämä tehtävät aiheuttavat todennäköisimmin pettymyksiä käyttäjille.

Arvioinnin ajoituksen merkitys

Mielenkiintoinen kysymys on myös arvioinnin ajoitus. Teague ym. (2001) nostivat esiin mielenkiintoisen kysymyksen arvioinnin ajoituksesta. He havaitsivat, että käyttäjien arviot tehtävän helppoudesta olivat merkittävästi positiivisempia tehtävän jälkeen kuin sen aikana. Tämä herättää kysymyksen siitä, antaako tehtävän jälkeinen arviointi todenmukaisen kuvan käyttökokemuksesta.

Ilmiötä voi selittää useampi tekijä. Ensinnäkin onnistunut tehtävän suorittaminen voi vaikuttaa arvioon positiivisesti. Toisaalta tehtävän aikana koetut vaikeudet unohtuvat nopeasti. Käyttäjät saattavat myös arvioida lopputulosta enemmän kuin prosessia. Tämä havainto kannustaa harkitsemaan myös tehtävänaikaista arviointia, erityisesti pitkäkestoisissa tai monimutkaisissa tehtävissä.

Yhteenveto

Arviointimenetelmän valinnassa kannattaa huomioida neljä tekijää. Testiin osallistuvien käyttäjien määrä – pienillä otoksilla yksinkertaiset menetelmät toimivat parhaiten. Käytettävissä oleva aika – laajat kyselyt vievät enemmän aikaa ja voivat väsyttää käyttäjiä. Arvioinnin tavoitteet – jos halutaan ymmärtää tiettyä osa-aluetta (kuten ohjeistuksen toimivuutta), kannattaa valita siihen sopiva mittari. Tulosten käyttötarkoitus – kehitystyön priorisointiin odotusten mittaaminen voi olla erityisen hyödyllistä.

Käyttökokemuksen mittaamiseen on useita toimivia tapoja. Yksinkertaiset menetelmät, kuten SEQ, toimivat erityisen hyvin pienillä käyttäjämäärillä. Laajemmissa tutkimuksissa voidaan hyödyntää monipuolisempia arviointitapoja, kuten ASQ:ta tai odotusten mittaamista. Tärkeintä on valita menetelmä, joka sopii tutkimuksen tavoitteisiin ja resursseihin. Samalla on hyvä tiedostaa arvioinnin ajoituksen mahdollinen vaikutus tuloksiin. LAB-ammattikorkeakoulussa arviointimenetelmien valintaan ja käyttökokemuksen kehittämiseen kiinnitetään huomiota niin opetuksessa kuin TKI-toiminnassa.

Lähteet

Albert, W. & Dixon, E. 2003. Is this what you expected? The use of expectation measures in usability testing. Teoksessa Proceedings of the Usability Professionals Association Annual Conference (UPA 2003). Scottsdale, Arizona, USA, 23-27.6.2003. Usability Professionals Association. Viitattu 26.11.2024. Saatavissa https://www.researchgate.net/publication/230786752_Is_this_what_you_expected_The_use_of_expectation_measures_in_usability_testing

Lewis, J. R. 1991. Psychometric evaluation of an after-scenario questionnaire for computer usability studies: the ASQ. ACM SIGCHI Bulletin. Vol. 23 (1), 78-81.

Sauro, J. & Dumas, J. S. 2009. Comparison of three one-question, post-task usability questionnaires. Teoksessa Olsen, D. R.; Arthur, R. B (toim.) Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ’09). Boston, MA, USA, 4-9.4.2009. New York: ACM Press. 1599-1608. Viitattu 26.11.2024. Saatavissa https://dl.acm.org/doi/proceedings/10.1145/1518701

Teague, R., De Jesus, K. & Ueno, M. N. 2001. Concurrent vs. post-task usability test ratings. Teoksessa Tremaine, M. (toim.) CHI ’01 Extended Abstracts on Human Factors in Computing Systems. Seattle, WA, USA, 31.3.-5.4.2001. New York: ACM Press. 289-290. Viitattu 26.11.2024. Saatavissa https://doi.org/10.1145/634067.634238

Tedesco, D. & Tullis, T. 2006. A comparison of methods for eliciting post-task subjective ratings in usability testing. Teoksessa Proceedings of the Usability Professionals Association Annual Conference (UPA 2006). Broomfield, CO, USA, 12-16.6.2006. Usability Professionals Association. Viitattu 26.11.2024. Saatavissa https://www.researchgate.net/publication/230786761_A_Comparison_of_Methods_for_Eliciting_Post-Task_Subjective_Ratings_in_Usability_Testing_ABSTRACT

Kirjoittaja

Sami Heikkinen, FM, KTM, opettaa LAB-ammattikorkeakoulussa käytettävyyttä ja käyttökokemuksen suunnittelua. Hän tutkii erityisesti käyttäjäkokemuksen mittaamisen menetelmiä ja pyrkii tekemään arvioinnista mahdollisimman vaivatonta sekä käyttäjille että kehittäjille.

Artikkelikuva: https://pxhere.com/en/photo/1451207 (CC0)

Viittausohje

Heikkinen, S. 2024. Kuinka mitata käyttökokemusta? LAB Pro. Viitattu pvm. Saatavissa https://www.labopen.fi/lab-pro/kuinka-mitata-kayttokokemusta/