Tehokkuuden mittaaminen digitaalisissa palveluissa

Digitaalisten palveluiden kehittämisessä on tärkeää ymmärtää, miten tehokkaasti käyttäjät pystyvät saavuttamaan tavoitteensa. Tehokkuuden mittaaminen antaa kehittäjille arvokasta tietoa siitä, missä kohdin palvelua pitäisi parantaa. Tässä artikkelissa käsitellään erilaisia tapoja digitaalisten palveluiden tehokkuuden mittaamiseen.

Kirjoittaja: Sami Heikkinen

Tehokkuuden mittaamisessa voidaan käyttää useita eri mittareita. Yksi yleisimmistä on tehtävään käytetty aika, mutta yhtä tärkeää on tarkastella tehtävän suorittamiseen vaadittua vaivannäköä. Vaivannäkö voi olla sekä kognitiivista että fyysistä (Albert ym. 2022). Tässä artikkelissa käsitellään erilaisia mittareita ja niiden käyttöä, mutta pääpaino on tehokkuuden kokonaisvaltaisessa ymmärtämisessä ja kehittämisessä.

Kognitiivisen ja fyysisen vaivannäön mittaaminen

Kognitiivinen vaivannäkö liittyy oikean toimintakohdan löytämiseen (esimerkiksi linkin etsiminen verkkosivulta), tarvittavan toiminnon päättämiseen (pitääkö tätä linkkiä klikata) ja toiminnan tulosten tulkitsemiseen. Fyysinen vaivannäkö puolestaan tarkoittaa toiminnan suorittamiseen tarvittavaa fyysistä aktiviteettia, kuten hiiren liikuttamista, tekstin kirjoittamista näppäimistöllä tai kytkimen kääntämistä. (Albert ym. 2022.)

Vaivannäköä mitattaessa on tärkeää kiinnittää huomiota viiteen keskeiseen seikkaan. Ensiksi on tunnistettava mitattavat toiminnot. Verkkopalveluissa nämä voivat olla esimerkiksi hiiren klikkauksia tai sivunäkymiä. Ohjelmistoissa voidaan mitata klikkausten lisäksi näppäinpainalluksia. Toiseksi pitää määrittää toiminnon alku ja loppu. On tärkeää tietää, milloin toiminto alkaa ja päättyy. Joskus toiminto on nopea, kuten napin painallus, toisinaan se voi kestää pidempään. Kolmas näkökulma liittyy toimintojen laskemiseen. Jos toiminnot tapahtuvat liian nopeasti silmämääräisesti havaittaviksi, tarvitaan automaattista järjestelmää. Neljäntenä toimintojen pitää olla merkityksellisiä. Jokaisen toiminnon tulee edustaa asteittaista lisäystä kognitiivisessa ja/tai fyysisessä vaivannäössä. Viimeiseksi huomio kannattaa keskittää onnistuneisiin tehtäviin. Tehokkuutta mitattaessa tulee huomioida vain onnistuneesti suoritetut tehtävät.

Eksyksissä digitaalisessa ympäristössä

Verkkosivustojen tehokkuutta voidaan mitata ns. ”lostness”-mittarilla, joka kertoo, kuinka eksyksissä käyttäjät ovat sivustolla (Albert ym. 2022). Mittari ottaa huomioon, kuinka monella eri sivulla käyttäjä vieraili tehtävää suorittaessaan, montako kertaa hän vieraili samoilla sivuilla uudestaan ja mikä oli optimaalinen sivumäärä tehtävän suorittamiseen.

Smith (1996) havaitsi, että jos lostness-mittarin arvo oli alle 0,4, käyttäjät eivät osoittaneet havaittavia merkkejä eksyksissä olemisesta. Sen sijaan jos arvo oli yli 0,5, käyttäjät vaikuttivat selkeästi olevan eksyksissä. Tämä on tärkeä tieto verkkopalveluiden suunnittelijoille, sillä jos käyttäjät ovat jatkuvasti eksyksissä, he todennäköisesti turhautuvat ja lopettavat palvelun käytön.

Paluut kertovat ongelmista

Eräs kiinnostava tehokkuuden mittari on ns. ”backtracking”-metriikka, joka mittaa, kuinka usein käyttäjät joutuvat palaamaan takaisinpäin navigoidessaan sivustolla (Albert ym. 2022). Tämä on erityisen hyödyllinen informaatioarkkitehtuurin arvioinnissa. Jos käyttäjät joutuvat usein palaamaan takaisin ja yrittämään uutta reittiä, se kertoo, että sivuston rakenne ei vastaa käyttäjien mentaalimallia. Nielsen (2012) korostaa, että jos yli 10% käyttäjistä joutuu palaamaan takaisin tietystä kohdasta, tämä kohta vaatii todennäköisesti uudelleensuunnittelua. Paluut voivat johtua monesta syystä, kuten harhaanjohtavista navigaationimistä, epäloogisesta sivustorakenteesta, puutteellisesta sisällöstä sivulla tai käyttäjien odotusten vastaisista toiminnoista.

Tehokkuutta voidaan tarkastella myös yhdistämällä tehtävän onnistumisaste ja siihen käytetty aika. ISO/IEC 25062:2006 -standardi määrittelee tehokkuuden mittariksi tehtävän onnistumisprosentin suhteessa keskimääräiseen suoritusaikaan (Albert ym. 2022). Tämä antaa kattavamman kuvan palvelun tehokkuudesta kuin kumpikaan mittari yksinään. Tämä voidaan laskea kaavalla: tehokkuus = onnistumisprosentti / keskimääräinen suoritusaika. Esimerkiksi jos tehtävän onnistumisprosentti on 80 % ja keskimääräinen suoritusaika 2 minuuttia, tehokkuus on 40 % per minuutti.

Tehokkuuden parantaminen käytännössä

Tehokkuuden parantamisessa on tärkeää keskittyä niihin kohtiin, joissa käyttäjät kohtaavat eniten ongelmia. Lisäksi on tärkeää varmistaa, että sivuston rakenne vastaa käyttäjien tapaa ajatella ja järjestää tietoa.

Spool ym. (1999) tutkivat suurten verkkokauppojen tehokkuutta mittaamalla käyttäjien suoriutumista tuotteiden etsinnässä. He havaitsivat, että sivustot, joissa oli sekä selkeä kategoriarakenne että tehokas hakutoiminto, mahdollistivat tuotteiden löytämisen keskimäärin 58 % nopeammin kuin sivustot, jotka nojasivat vain yhteen navigointitapaan. Tämä tutkimus on johtanut monien verkkokauppojen navigaatiorakenteen uudistamiseen ja hakutoimintojen kehittämiseen.

Yhteenveto

Digitaalisten palveluiden tehokkuuden mittaaminen on monisyinen prosessi, joka vaatii useiden eri mittareiden hyödyntämistä. Pelkkä tehtävään käytetyn ajan mittaaminen ei anna riittävää kuvaa palvelun tehokkuudesta. Kun ymmärretään sekä kognitiivinen että fyysinen vaivannäkö ja tarkastellaan käyttäjien navigointikäyttäytymistä, voidaan tunnistaa kehityskohteita ja parantaa palvelun käytettävyyttä.

Lähteet

Albert, W., Tullis, T. & Tedesco, D. 2022. Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics. 3. painos. Amsterdam: Morgan Kaufmann. Viitattu 2.11.2024. Saatavissa https://doi.org/10.1016/C2018-0-00693-3

Nielsen, J. 2012. Usability 101: Introduction to Usability. Nielsen Norman Group. Viitattu 2.11.2024. Saatavissa https://www.nngroup.com/articles/usability-101-introduction-to-usability/

Smith, P. A. 1996. Towards a practical measure of hypertext usability. Interacting with Computers. Vol. 8 (4), 365-381.

Spool, J. M., Scanlon, T., Schroeder, W., Snyder, C. & DeAngelo, T. 1999. Web Site Usability: A Designer’s Guide. San Francisco: Morgan Kaufmann Publishers.