Multivariate test experiment

Tomáš Veselý - podpořen AI
před 2 dny
Minut čtení: 3

Tvoříme obsáhlou knihovnu znalostí o produktovém vývoji jako součást naší mise. Knihovna slouží všem, kteří se snaží zlepšit v rozhodování, primárně v rozhodování o dalším rozvoji produktu. Ať už jsi vynálezce, produktový manažer nebo Chief Product Officer, používání určitých výzkumných metod a experimentů zvyšuje šanci na vytvoření správných produktů a jejich funkcí pro správné publikum (build the right thing for right audience). Dnes si představíme multivariační testování (anglicky multivariate testing) validační metodu.

Kdy experiment použít?

Multivariační testování je vhodné ve chvíli, kdy je potřeba zjistit, která kombinace více současně měněných prvků na jedné stránce přináší nejlepší výsledek (často konverzi). Použití dává smysl za těchto podmínek:

Stránka má vysokou návštěvnost, která umožní nasbírat dostatek dat pro každou testovanou kombinaci.
Na jedné stránce se mění více prvků zároveň (například titulek, hlavní vizuál a tlačítko) a existuje podezření, že se vzájemně ovlivňují.
Cílem je jediná, jasně měřitelná konverze (registrace, nákup, kliknutí).
Produkt nebo web už má reálné publikum, na kterém lze test spustit.

Na rozdíl od A/B testování, které mění jedinou proměnnou a izoluje její samostatný vliv (kontrolní verze A vs. variantní verze B), multivariační testování mění více prvků naráz a porovnává všechny jejich kombinace. Odhalí tak i vzájemné interakce mezi prvky, ale za cenu mnohem vyšších nároků na návštěvnost. A/B test je proto praktickou volbou pro většinu situací; multivariační testování se vyplatí teprve na stránkách s vysokým provozem, kde záleží na souhře prvků. Velké internetové společnosti s miliony návštěv denně běžně používají multivariantní testování každou minutu jejich provozu na většinu jejich funkcí.

Základní princip experimentu

Podstatou multivariačního testování je současné porovnání všech možných kombinací několika změněných prvků v produktu, aby se odhalila nejen účinnost jednotlivých změn, ale i jejich vzájemné působení.

Definovat konverzní cíl a stránku. Vybrat jednu stránku a jednu konverzní akci, kterou má test zlepšit.
Vybrat prvky a jejich varianty. Určit prvky, které se budou měnit (titulek, hlavní vizuál, text tlačítka), a pro každý z nich připravit několik variant.
Sestavit kombinace. Sestavit, vyrobit varianty testu, například několik variant homepage a změněných prvků na ní.
Rozdělit návštěvníky. Každému příchozímu se náhodně zobrazí jedna z kombinací a zaznamená se, zda provedl konverzi.
Sbírat data. Sledovat unikátní zobrazení a konverzní poměr u každé kombinace. Rozhodujícím signálem je kombinace, která statisticky průkazně překoná výchozí verzi; vedle vítěze test odhalí i to, které prvky táhnou výsledek nahoru a které spolu fungují nejlépe. Test je třeba nechat běžet, dokud každá kombinace nenasbírá dostatek dat pro průkaznost.
Identifikace rizik. Multivariační testování vyžaduje výrazně vyšší návštěvnost než A/B test, protože počet kombinací roste exponenciálně a každá potřebuje vlastní vzorek. Interakční efekty bývají jemnější než hlavní efekty, takže k jejich průkazu je třeba ještě více dat. Na stránkách s nízkým provozem test trvá neúnosně dlouho nebo nikdy nedosáhne průkaznosti. Výsledky jsou navíc náročnější na interpretaci a metoda neřekne, proč daná kombinace funguje — pouze že funguje.

Reálná ukázka experimentu

Odkaz na reálný výzkum: Obama's $60 million dollar experiment — Dan Siroker, Optimizely

V prosinci 2007 spustil tým prezidentské kampaně Baracka Obamy svůj první experiment na úvodní (splash) stránce webu. Cílem bylo zvýšit podíl návštěvníků, kteří se zaregistrují k odběru e-mailů. Director of Analytics Dan Siroker testoval současně dvě části stránky: mediální blok v horní části a text tlačítka s výzvou k akci.

Šlo o plně faktoriální multivariační test v nástroji Google Website Optimizer — čtyři varianty tlačítka a šest variant média (tři obrázky a tři videa), tedy 4 × 6 = 24 kombinací, které se testovaly všechny naráz proti sobě. Stránku během testu navštívilo přes 310 000 lidí, takže každou kombinaci vidělo zhruba 13 000 návštěvníků. Tým přitom před spuštěním favorizoval jedno z videí.

Vítězná kombinace — obrázek rodiny a tlačítko „Learn More" — dosáhla registračního poměru 11,6 % oproti původním 8,26 %, tedy o 40,6 % více. Favorizovaná varianta s videem přitom dopadla hůř než všechny obrázky. Právě tady ukázal multivariační test svou sílu: odhalil nejen nejlepší jednotlivé prvky, ale i jejich nejúčinnější kombinaci.

Co vše se dá experimentem testovat?

Hlavní síla multivariačního testování spočívá v odhalení toho, jak spolu prvky na stránce spolupracují — ne jen který sám o sobě vyhrává. Konkrétně se hodí na:

Pochopení interakce mezi prvky: zda například určitá kombinace titulku, vizuálu a tlačítka funguje lépe než jiná.
Relativní váhu jednotlivých prvků: který z měněných prvků zvyšuje konverzní poměr nejvíc.
Podoba landing page: jaká konkrétní podoba landing page maximalizuje jedinou akci například registrace nebo nákup.
Vyvrácení interních domněnek o designu: zda prvek, který tým subjektivně favorizuje, skutečně vede k vyšší konverzi; signálem je situace, kdy data odporují předpokladu.
Citlivost konverze na drobné úpravy: jak silně se výsledek mění s textem tlačítka, barvou nebo vizuálem.