Digitaalisten työkalujen kehittymisen myötä A/B-testaus on yleistynyt ja helpottunut. Markkinointi on muuttunut dataohjautuvammaksi, ja yritysten on mahdollista testata ja oppia omasta toiminnastaan ja kohderyhmästä jatkuvasti enemmän. A/B-testausta hyödynnetäänkin testausmenetelmänä, jonka tuloksia analysoimalla voidaan jatkokehittää toimintaa.
Kuitenkin, jotta testauksen tulokset olisivat luotettavia, on tulosten tilastollinen merkitsevyys vielä hyvä tarkistaa. Tilastollisella merkitsevyydellä tarkoitetaan todennäköisyyttä, jolla testistä saataisiin sama tulos, jos se toistettaisiin uudelleen. Jos tilastollinen merkitsevyys jätetään huomiotta, saatetaan tehdä virheellisiä johtopäätöksiä, ja jatkokehittää toimintaa väärän informaation pohjalta.
A/B-testauksen kulmakivet
Ennen kuin syvennytään tilastollisen merkitsevyyden pariin, on hyvä varmistaa, että A/B-testauksen perusteet ovat kunnossa.
Yhtäaikaisuus
Ensimmäinen sääntö on, että testattavia asioita tulee testata yhtäaikaisesti. Jos versioita testataan eri aikoihin, saattaa muodostua ajallinen vääristymä esimerkiksi ihmisten käytöksen suhteen. Lisäksi kannattaa valita testauksen ajankohta niin, että se olisi liiketoiminnan kannalta mahdollisimman normaali ajanjakso. Tällä tarkoitan sitä, että testaus ei sijoittuisi esimerkiksi verkkokaupoilla Black Fridayn päälle, ellei sitten haluta juurikin testata sen vaikutusta tuloksiin ja liiketoimintaan.
Yksi muuttuja
Toinen asia, mikä tulee muistaa, on testata vain yhtä muuttujaa kerrallaan. Jos monia muuttujia testataan kerralla, ei voida sanoa, mitkä muuttujat todellisuudessa olivat merkittäviä eron muodostajia esimerkiksi mainoksessa.
Mitä on tilastollinen merkitsevyys?
Tilastollisella merkitsevyydellä varmistetaan, että testitulos ei ole sattumaa, vaan mahdollisimman lähellä totuutta. On syytä muistaa, etteivät tulokset koskaan ole 100% varmoja, mutta hyvin lähelle totuutta voidaan kuitenkin päästä. Yleensä riskitaso väärälle johtopäätökselle on joko 10%, 5%, 1% tai 1 ‰. Tällöin siis voidaan 99,9%-90% varmuudella sanoa tulosten todenmukaisuus. Yrityksen itse pitää määrittää oma riskitasonsa tilastollista merkitsevyyttä testattaessa.
Tilastollista merkitsevyyttä mitattaessa määritetään ensin hypoteesi, jonka oikeellisuutta lähdetään testaamaan. Nollahypoteesilla tarkoitetaan tilannetta, jossa testattavien asioiden välillä ei oletettaisi eroavaisuutta. Oman hypoteesimme perusteella oletamme, että testattavien asioiden välille syntyy ero ainakin tietyllä mittarilla. On hyvä muistaa, että joskus on myös niin, ettei testauksessa synny tilastollista merkitsevyyttä, jolloin todetaan ettei testauksesta syntynyt oppeja ja siirrytään testauksessa eteenpäin.
Mitä tilastollisen merkitsevyyden tarkasteleminen vaatii?
Testausvaiheessa budjetti tulisi jakaantua tasan testattavien versioiden välille, jotta variaatiot olisivat mahdollisimman samanlaisessa tilanteessa. Testiaika tulisi myös olla riittävän pitkä, että data ehtii kerääntyä. Tämä taas vaatii riittävän suuren budjetin testaukseen. Testattavien asioiden välillä tulisi olla oleellista eroa ja niiden tulisi olla myös merkittittäviä liiketoiminnan tavoitteiden kannalta.
Otoskoon tulisi olla riittävän suuri, sillä mitä suurempi se on, sitä pienempi on satunnaisen virheen todennäköisyys. On esimerkiksi aivan eri asia, teetkö johtopäätöksiä ja yleistyksiä 10 ihmisen kyselystä verrattuna 1000 ihmisen kyselyyn. Riittävät laajat kohderyhmät ovat tässä siis avainasemassa.
Testauksen jälkeen
Testauksen jälkeen saattaa nopealla vilkaisulla vaikuttaa siltä, että testattavien asioiden välille olisi syntynyt eroa. Todellisuudessa ero saattaa kuitenkin olla niin pieni, että se ei ole tilastollisesti merkitsevä, eikä sen perusteella kannata tehdä johtopäätöksiä. Tilastollista merkitsevyyttä kannattaakin tarkastella jollain siihen tarkoitetulla työkalulla, kuten esimerkiksi https://abtestguide.com/calc/ apuna käyttäen.
Miten teidän yrityksessänne varmistetaan tulosten oikeellisuus? Jos haluat sparrata teidän tavasta mitata tilastollista merkitsevyyttä tai kuulla lisää meidän prosesseista, niin ota yhteyttä!
Lue myös:
Markkinoinnin A/B-testaus lean-silmukan avulla