Suoriteajan mittaaminen käyttäjäkokemuksen kehittämisessä

Käyttäjäkokemuksen kehittämisessä tehokkuus on yksi keskeisistä mittareista. Tehtävän suoritusajan mittaaminen antaa arvokasta tietoa tuotteen tai palvelun käytettävyydestä. Tässä artikkelissa perehdytään tehtävän suoritusajan mittaamiseen ja analysointiin käyttäjäkokemuksen kehittämisen työkaluna.

Kirjoittaja: Sami Heikkinen

Käyttäjäkokemuksen kehittämisessä yksi tärkeimmistä tavoitteista on tehokkuuden parantaminen. Tehokkuudella tarkoitetaan sitä, kuinka nopeasti ja vaivattomasti käyttäjä pystyy suorittamaan haluamansa tehtävän tuotetta tai palvelua käyttäessään. Yleisesti voidaan ajatella, että mitä nopeammin käyttäjä saa tehtävänsä suoritettua, sitä parempi käyttäjäkokemus on (Tullis & Albert 2013). Toisaalta on huomioitava, että joissakin tilanteissa, kuten peleissä tai oppimisympäristöissä, nopeampi ei välttämättä ole parempi (Albert & Tullis 2013).

Tehtävän suoritusajan mittaaminen (time-on-task) on yleisesti käytetty menetelmä tehokkuuden arviointiin. Se on yksinkertaisesti aika, joka käyttäjältä kuluu tehtävän aloittamisesta sen loppuun saattamiseen. Suoritusajan mittaaminen on erityisen hyödyllistä tuotteille ja palveluille, joissa samoja tehtäviä toistetaan usein. (Tullis & Albert 2013.)

Suoritusajan mittaaminen käytännössä

Tehtävän suoritusajan mittaamiseen on useita tapoja. Yksinkertaisimmillaan moderaattori tai muistiinpanojen tekijä voi käyttää sekuntikelloa tai muuta ajanottolaitetta. Videoitaessa käytettävyystestausta voidaan hyödyntää videon aikaleimaa tehtävän alku- ja loppuajan merkitsemiseen. (Tullis & Albert 2013.)

Suoritusaikoja mitattaessa on tärkeää määritellä selkeät säännöt kellon käynnistämiselle ja pysäyttämiselle. Tyypillisesti kello käynnistetään heti, kun osallistuja on lukenut tehtävänannon. Kellon pysäyttäminen voi olla monimutkaisempaa, sillä aina ei ole selvää, milloin osallistuja on saanut tehtävän valmiiksi. On tärkeää ohjeistaa osallistujia ilmaisemaan selkeästi, kun he ovat mielestään suorittaneet tehtävän. (Tullis & Albert 2013.)

Suoritusaikojen mittaamiseen on olemassa myös automatisoituja työkaluja, kuten The Observer XT, Ovo Logger ja Morae. Näiden etuna on, että ne ovat vähemmän virhealttiita ja huomaamattomampia kuin manuaalinen ajanotto. (Tullis & Albert 2013.) Automatisoidut työkalut mahdollistavat myös suuremman datamäärän keräämisen ja analysoinnin, mikä voi johtaa tarkempiin tuloksiin (Sauro & Lewis 2016).

Suoritusaikojen analysointi ja esittäminen

Suoritusaikojen analysoinnissa yleisin tapa on laskea keskiarvo kunkin tehtävän suorittamiseen kuluneesta ajasta. On kuitenkin tärkeää huomioida mahdollinen vaihtelu käyttäjien välillä. Siksi on suositeltavaa raportoida myös luottamusväli, joka osoittaa vaihtelun suuruuden. (Tullis & Albert 2013.)

Joskus mediaani voi olla keskiarvoa parempi tapa kuvata tyypillistä suoritusaikaa, sillä se ei ole yhtä herkkä ääriarvoille. Geometrinen keskiarvo on toinen vaihtoehto, joka voi olla vähemmän vääristynyt etenkin, jos aikojen jakauma on vino. (Tullis & Albert 2013.) Sauro ja Lewis (2010) suosittelevat geometrisen keskiarvon käyttöä erityisesti silloin, kun suoritusaikojen jakauma on oikealle vino, mikä on tyypillistä käytettävyystutkimuksissa.

Suoritusaikoja voidaan analysoida myös määrittelemällä kynnysarvo ja laskemalla, kuinka suuri osa käyttäjistä suoritti tehtävän tätä nopeammin. Tämä voi olla hyödyllinen lähestymistapa etenkin, jos tavoitteena on minimoida niiden käyttäjien määrä, jotka tarvitsevat kohtuuttoman paljon aikaa tehtävän suorittamiseen. (Tullis & Albert 2013.)

Huomioitavaa suoritusaikojen mittaamisessa

Suoritusaikoja analysoitaessa on tärkeää tarkastella aikojen jakaumaa ja tunnistaa mahdolliset poikkeavat havainnot. Erityisesti automatisoiduilla työkaluilla kerätyissä ajoissa voi esiintyä äärimmäisen pitkiä aikoja, jos osallistuja on esimerkiksi pitänyt tauon kesken tehtävän. Tällaiset poikkeavat havainnot voidaan poistaa analyysistä. (Tullis & Albert 2013.)

On myös päätettävä, analysoidaanko vain onnistuneesti suoritettujen tehtävien aikoja vai kaikkia aikoja. Onnistuneiden tehtävien aikojen analysointi antaa puhtaamman kuvan tehokkuudesta, mutta kaikkien aikojen analysointi kuvaa paremmin kokonaiskäyttäjäkokemusta. (Tullis & Albert 2013.) Sauro (2011) suosittelee analysoimaan sekä onnistuneiden että epäonnistuneiden tehtävien aikoja, sillä tämä antaa kattavamman kuvan tuotteen käytettävyydestä.

Jos käytetään samanaikaista ääneenajattelua (concurrent think-aloud), se voi vaikuttaa suoritusaikoihin. Vaihtoehtoisesti voidaan käyttää retrospektiivistä ääneenajattelua (retrospective think-aloud), jossa osallistuja kommentoi toimintaansa vasta tehtävien suorittamisen jälkeen. (van den Haak, de Jong & Schellens 2004.) Hertzum, Hansen ja Andersen (2009) havaitsivat tutkimuksessaan, että samanaikainen ääneenajattelu pidensi tehtävien suoritusaikoja keskimäärin 19 %.

Yhteenveto

Tehtävän suoritusajan mittaaminen on arvokas työkalu käyttäjäkokemuksen kehittämisessä. Se antaa konkreettista tietoa tuotteen tai palvelun tehokkuudesta ja auttaa tunnistamaan kehityskohteita. Mittaamisessa ja analysoinnissa on kuitenkin huomioitava useita tekijöitä luotettavien tulosten saamiseksi. Oikein toteutettuna suoritusaikojen mittaaminen voi merkittävästi edistää käyttäjäkokemuksen parantamista.

Lähteet

Albert, W. & Tullis, T. 2013. Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics. 2nd Edition. Morgan Kaufmann. Viitattu 6.10.2024. Saatavissa https://doi.org/10.1016/C2011-0-00016-9

Hertzum, M., Hansen, K.D. & Andersen, H.H.K. 2009. Scrutinising usability evaluation: does thinking aloud affect behaviour and mental workload? Behaviour & Information Technology. Vol. 28 (2), 165-181.

Sauro, J. 2011. Should you use 5 or 7 point scales? MeasuringU. Viitattu 6.10.2024. Saatavissa https://measuringu.com/scale-points/

Sauro, J. & Lewis, J.R. 2010. Average task times in usability tests: what to report? Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2347-2350.

Sauro, J. & Lewis, J.R. 2016. Quantifying the User Experience: Practical Statistics for User Research. 2nd Edition. Morgan Kaufmann. Viitattu 6.10.2024. Saatavissa https://doi.org/10.1016/C2010-0-65192-3

van den Haak, M.J., de Jong, M.D.T. & Schellens, P.J. 2004. Employing think-aloud protocols and constructive interaction to test the usability of online library catalogues: a methodological comparison. Interacting with Computers. Vol. 16 (6), 1153-1170.

Kirjoittaja

Sami Heikkinen, FM, KTM, opettaa LAB-ammattikorkeakoulussa palveluiden kehittämistä ja mittaa sekuntikellolla, kuinka kauan hänellä menee kahvin keittämiseen.

Artikkelikuva: https://pxhere.com/en/photo/910835 (CC0)