A/B Testing experiment

Tomáš Veselý - podpořen AI
2. 1.
Minut čtení: 3

Tvoříme obsáhlou knihovnu znalostí o produktovém vývoji jako součást naší mise. Knihovna slouží všem, kteří se snaží zlepšit v rozhodování, primárně v rozhodování o dalším rozvoji produktu. Ať už jsi vynálezce, produktový manažer nebo Chief Product Officer, používání určitých výzkumných metod a experimentů zvyšuje šanci na vytvoření správných produktů a jejich funkcí pro správné publikum (build the right thing for right audience). Dnes si představíme A/B Testing validační experiment.

Kdy experiment použít?

A/B testování slouží primárně jako nástroj pro optimalizaci různých firemních metrik skrze optimalizaci produktu. Jedná se o univerzální rámec pro měření dopadu změn na chování uživatelů. Tato metoda umožňuje s vědeckou přesností izolovat vliv jedné konkrétní změny na celek. Cílem je nalézt takové změny, které mají pozitivní dopad na metriky produktu.

Základní princip experimentu

Základní myšlenkou celého A/B testování je testovat různé varianty produktu vzhledem k nějaké metrice na malé části všech uživatelů. V případě, že test je velmi pozitivní, tak tyto nové změny zpřístupnit všem uživatelům.

Proces A/B testování má následující kroky:

Formulace hypotézy: Testování začíná definicí problému a předpokladu. Je stanoveno, jaká změna má nastat a jaký konkrétní dopad se od ní očekává.
Výběr metrik: Je určena primární metrika, která rozhoduje o úspěchu testu, a sekundární metriky pro sledování vedlejších efektů.
Příprava variant: Jsou vytvořeny dvě verze produktu: Kontrolní verze (A), reprezentující současný stav, a Variantní verze (B), obsahující testovanou změnu. Pro zachování čistoty dat je měněna pouze jedna proměnná.
Určení velikosti vzorku: Před spuštěním je vypočítán potřebný počet uživatelů pro dosažení statistické významnosti. Většinou stovky až tisíce uživatelů.
Randomizace (Spuštění testu): Malá část uživatelů stávajícího produktu jsou náhodně rozděleni mezi varianty A a B. Náhodné rozdělení je nutné pro eliminaci zkreslení výsledků.
Analýza výsledků: Po nasbírání dat je vyhodnocen rozdíl mezi variantami a je ověřena statistická významnost (p-hodnota), aby byl vyloučen vliv náhody.
Reflexe limitací: Při vyhodnocení jsou brány v úvahu faktory jako sezónnost nebo „Novelty effect“, tedy dočasný nárůst zájmu způsobený novostí změny, nikoliv její kvalitou.

Reálná ukázka experimentu

Odkaz na reálný výzkum: Behind Bing's blue links

Příkladem dopadu A/B testování na byznys je experiment společnosti Microsoft pro vyhledávač Bing. Produktový tým stál před rozhodnutím, jakou barvu použít pro odkazy ve vyhledávání. Místo subjektivního výběru bylo otestováno několik odstínů modré barvy.

Data z experimentu ukázala, že specifický odstín modré (kód #0044CC) vede k výrazně vyšší míře prokliku a angažovanosti uživatelů. Po nasazení této varianty byl zaznamenán nárůst ročních tržeb v odhadované výši 80 až 100 milionů dolarů. Tento případ ilustruje, že i vizuálně nepatrná změna může mít v digitálním prostředí masivní ekonomický dopad, který by bez experimentálního ověření nebyl odhalen.

Co vše se dá experimentem testovat?

Mezi časté příklady A/B testování patří optimalizace následujících metrik:

Conversion Rate (česky konverzní poměr): ověření, které změny mají dopad na konverzní poměr, tedy procento uživatelů, kteří dokončí požadovanou akci například nákup nebo registraci do produktu,
Click-Through Rate (česky míra prokliku): ověření, které změny mají dopad na míru prokliku například na tlačítko v e-mailu,
Retention Rate (česky míra odchodu): ověření, které změny mají dopad na míru odchodu, tedy schopnost udržet si uživatele v čase například po změně úvodního videa vítajícího nové uživatele,
Revenue (česky tržby): ověření, které změny mají dopad na tržby firmy například zda vyšší cena neodradila příliš mnoho lidí,
User Experience (česky UX): ověření, které změny mají dopad na UX například chybovost nebo úspěšnost dokončení úkolu,
Desirability (česky poptávka): ověření zájmu o neexistující funkci, například pomocí tzv. Fake Door testy, kdy se měří kliknutí na tlačítko funkce, která ještě nebyla vyvinuta.
Algoritmy: Ověření, který algoritmus má lepší dopad na byznys firmy, například zlepšení dojezdové vzdálenosti u Last mile.