Miten mitata käyttäjäkokemusta tehokkaasti? SUS-mittari avuksi

Järjestelmien ja tuotteiden käytettävyyden arviointi on tärkeä osa tuotekehitystyötä. System Usability Scale (SUS) tarjoaa tehokkaan ja luotettavan työkalun käyttäjäkokemusten mittaamiseen. Tässä artikkelissa perehdytään SUS-mittarin käyttöön ja sen tarjoamiin mahdollisuuksiin käytännön kehitystyössä.

Kirjoittaja: Sami Heikkinen

Mikä on SUS?

System Usability Scale kehitettiin alun perin Digital Equipment Corporationilla vuonna 1986. Se koostuu kymmenestä väittämästä, joihin käyttäjät vastaavat viisiportaisella asteikolla. Mittarin avulla saadaan kokonaiskuva järjestelmän tai tuotteen käytettävyydestä. SUS on vapaasti käytettävissä tutkimus- ja yrityskäyttöön, kunhan lähde mainitaan mahdollisissa tutkimusraporteissa. (Brooke 1996.)

SUS-mittarin vahvuus piilee sen monipuolisessa sovellettavuudessa. Sitä on käytetty menestyksekkäästi niin työpöytäsovellusten, verkkosivustojen, mobiilisovellusten kuin erilaisten kuluttajatuotteidenkin arviointiin. Mittarin yksinkertaisuus tekee siitä helposti lähestyttävän sekä arvioijille että tulosten tulkitsijoille.

SUS-mittarin toteuttaminen käytännössä

SUS-kysely koostuu kymmenestä väittämästä, jotka käsittelevät järjestelmän tai tuotteen eri ominaisuuksia. Väittämiin vastataan asteikolla 1-5, jossa 1 tarkoittaa ”täysin eri mieltä” ja 5 ”täysin samaa mieltä”. Väittämät on muotoiltu vuorotellen positiivisiksi ja negatiivisiksi, millä pyritään varmistamaan vastaajien huolellinen paneutuminen jokaiseen kysymykseen.

Kysely kannattaa toteuttaa heti tuotteen käyttötilanteen jälkeen, jolloin kokemukset ovat vielä tuoreessa muistissa. Tärkeää on, että vastaajat ovat todellisia loppukäyttäjiä ja että he ovat käyttäneet arvioitavaa järjestelmää tai tuotetta aidoissa käyttötilanteissa.

SUS-pisteiden laskeminen

SUS-pisteiden laskeminen on yksinkertaista, mutta vaatii tarkkuutta. Parittomissa väittämissä (1, 3, 5, 7, 9) pistemäärästä vähennetään yksi. Parillisissa väittämissä (2, 4, 6, 8, 10) viidestä vähennetään annettu pistemäärä. Lopuksi pisteiden summa kerrotaan 2,5:llä, jolloin saadaan kokonaispistemäärä asteikolla 0-100. (Tullis 2013.)

Esimerkiksi jos vastaaja antaa parittomaan väittämään arvon 4, siitä tulee 3 pistettä (4-1=3). Jos hän antaa parilliseen väittämään arvon 2, siitä tulee 3 pistettä (5-2=3). Tämä laskutapa muuntaa negatiiviset väittämät positiivisiksi, jolloin korkeampi pistemäärä tarkoittaa aina parempaa käytettävyyttä.

Tulosten tulkinta ja vertailu

Tullis ja Bangor ym. ovat tutkineet SUS-pisteiden jakaumaa laajasti. Tullisin (2013) 129 tutkimuksen ja Bangorin ym. (2008) 206 tutkimuksen tulokset olivat hyvin samankaltaisia mediaanipisteiden ollessa 69 ja 71. Tulosten perusteella on määritelty seuraavat raja-arvot: yli 70 pistettä: hyväksyttävä käytettävyys, 50-70 pistettä: keskinkertainen käytettävyys, alle 50 pistettä: ei hyväksyttävä käytettävyys.

Bangor ym. (2009) tarkensivat tulkintaa analysoimalla lähes 3500 SUS-kyselyä. He kehittivät kouluarvosana-asteikon, joka helpottaa tulosten kommunikointia eri sidosryhmille: 90-100: kiitettävä, 80-89: hyvä, 70-79: tyydyttävä, 50-59: välttävä ja alle 50: Hylätty.

SUS käytännön kehitystyössä

SUS-mittarin käyttö kehitystyössä kannattaa aloittaa lähtötilanteen kartoituksella. Kun nykyisen järjestelmän tai tuotteen SUS-pisteet ovat tiedossa, voidaan kehitystoimenpiteiden vaikuttavuutta seurata toistamalla mittaus säännöllisin väliajoin.

Kehitystyössä kannattaa kiinnittää erityistä huomiota niihin osa-alueisiin, joissa pisteet ovat alhaisimmat. Jos esimerkiksi opittavuuteen liittyvät kysymykset saavat alhaisia pisteitä, voidaan kehitystyössä keskittyä käyttöliittymän selkeyttämiseen ja ohjeistuksen parantamiseen.

Mittarin kehitys ja uudet näkökulmat

Vaikka SUS suunniteltiin alun perin mittaamaan käytettävyyttä yhtenä kokonaisuutena, Lewis ja Sauro (2009) havaitsivat siinä kaksi erillistä tekijää: kahdeksan kysymystä mittaa käytettävyyttä ja kaksi opittavuutta. Tämä havainto mahdollistaa yksityiskohtaisemman analyysin ja kehitystoimenpiteiden tarkemman kohdentamisen.

Sauro ja Lewis (2011) tutkivat myös tarvetta negatiivisille ja positiivisille väittämille. Vaikka alkuperäisessä SUS-mittarissa käytettiin molempia, tutkijat havaitsivat, että pelkästään positiivisia väittämiä sisältävä versio toimi yhtä hyvin. Aineistoista löytyi viitteitä siitä, että 11 % tutkimuksista sisälsi koodausvirheitä ja 13 % kyselyvastauksista sisälsi käyttäjien tekemiä virheitä. Tämän vuoksi tutkijat suosittelevat pelkästään positiivisten väittämien käyttöä virheiden välttämiseksi.

Käytännön vinkkejä SUS-mittarin hyödyntämiseen

Kun SUS-mittaria alkaa hyödyntämään, pitää ensin valita sopiva ajankohta mittaukselle. Heti käyttökokemuksen jälkeen tulokset ovat luotettavimpia, mikä yleensä edellyttää tiivistä yhteistyötä käyttäjien kanssa. Samalla on varmistettava riittävä otoskoko. Vähintään 20 vastaajaa antaa jo luotettavan yleiskuvan tutkittavasta tuotteesta. Vaikka tutkimuksen tekemisen yhteydessä on suuri houkutus muokata vakioväittämiä, kannattaa silti käyttää vakiomuotoisia kysymyksiä vertailukelpoisuuden säilyttämiseksi. On tärkeää muistaa, että mittauskertoja pitää olla ajan myötä useampia kehityksen seuraamisen helpottamiseksi. Siksi tulokset pitää dokumentoida huolellisesti myöhempää vertailua varten. Tulosten tulkinnassa on hyvä muistaa analysoida tulokset sekä kokonaisuutena että kysymyskohtaisesti kaikkien yksityiskohtien tunnistamiseksi.

Yhteenveto

SUS tarjoaa tehokkaan ja luotettavan työkalun käyttäjäkokemuksen mittaamiseen. Sen vahvuuksia ovat helppokäyttöisyys, luotettavuus ja laaja vertailuaineisto. Mittarin avulla voidaan sekä arvioida nykyistä tilannetta että seurata kehitystoimenpiteiden vaikuttavuutta. LAB-ammattikorkeakoulu hyödyntää SUS-työkalua koulutuksen sisällöissä huomisen käyttökokemusasiantuntijoiden koulutuksessa tuottamalla siten osaajia yritysten tuotekehitystarpeisiin.

Lähteet

Bangor, A., Kortum, P. & Miller, J. 2008. An empirical evaluation of the System Usability Scale. International Journal of Human-Computer Interaction. Vol. 24 (6), 574–594. Viitattu 2.12.2024. Saatavissa https://doi.org/10.1080/10447310802205776

Bangor, A., Kortum, P. & Miller, J. 2009. Determining what individual SUS scores mean: Adding an adjective rating scale. Journal of Usability Studies. Vol. 4 (3), 114–123. Viitattu 2.12.2024. Saatavissa https://dl.acm.org/doi/10.5555/2835587.2835589

Brooke, J. 1996. SUS: A ”quick and dirty” usability scale. Teoksessa John Brooke (toim.) Usability Evaluation in Industry. London: Taylor & Francis.

Lewis, J.R. & Sauro, J. 2009. The factor structure of the System Usability Scale. Proceedings of the 1st International Conference on Human Centered Design. Berlin: Springer. Viitattu 2.12.2024. Saatavissa https://doi.org/10.1007/978-3-642-02806-9_12

Sauro, J. & Lewis, J.R. 2011. When designing usability questionnaires, does it hurt to be positive? Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2215–2224. Viitattu 2.12.2024. Saatavissa https://doi.org/10.1145/1978942.1979266

Tullis, T. 2013. Measuring the User Experience. Morgan Kaufmann. Viitattu 2.12.2024. Saatavissa https://doi.org/10.1016/C2011-0-00016-9