English
ČeštinaTakeaway Test experiment
Tvoříme obsáhlou knihovnu znalostí o produktovém vývoji jako součást naší mise. Knihovna slouží všem, kteří se snaží zlepšit v rozhodování, primárně v rozhodování o dalším rozvoji produktu. Ať už jsi vynálezce, produktový manažer nebo Chief Product Officer, používání určitých výzkumných metod a experimentů zvyšuje šanci na vytvoření správných produktů a jejich funkcí pro správné publikum (build the right thing for right audience). Dnes si představíme Takeaway test validační metodu.
Kdy experiment použít?
Takeaway test se hodí ve chvíli, kdy panuje pochybnost, zda stávající funkce produktu uživatelům skutečně přináší hodnotu. Předpokladem je živý produkt s reálnou uživatelskou základnou.
Zdá se, že funkci téměř nikdo nepoužívá, ale chybí data o tom, jak moc na ní doopravdy záleží.
Údržba funkce odvádí tým od důležitější práce, nebo zvyšuje technický dluh a složitost produktu.
Zvažuje se zrušení či zjednodušení funkce a je třeba získat důkaz o jejím využití dříve, než se přistoupí ke změnám.
Základní princip experimentu
Myšlenka experimentu spočívá v tom, že se zkoumaná funkce záměrně odebere nebo vypne bez jakéhokoli upozornění. Pokud ji uživatelé skutečně potřebují, dají vědět, nebo se to projeví v metrikách. Pokud žádná reakce nepřijde a klíčové metriky zůstanou stabilní, byla funkce nejspíš nepotřebná.
Definovat hypotézu. Vybrat jednu konkrétní funkci a stanovit předpoklad, že její odebrání nezhorší spokojenost ani chování uživatelů. Předem určit, jaký výsledek hypotézu potvrdí a jaký ji vyvrátí.
Vybrat rozsah testu. Rozhodnout, zda se funkce odebere všem uživatelům, nebo jen vybranému segmentu. Omezení na segment snižuje riziko u velké základny a umožňuje srovnání s kontrolní skupinou.
Tiše odebrat funkci. Funkci odstranit nebo vypnout bez jakéhokoli oznámení. Mlčení je zde klíčové — cílem je zachytit spontánní reakci, ne reakci vyvolanou komunikací.
Sbírat data. Sledovat objem a tón zákaznické zpětné vazby (stížnosti, dotazy na podporu, zmínky v recenzích), míru odchodů (churn) a chování v navazujících tocích produktu. Rozhodovací signál: pokud během stabilizačního okna nepřijde výrazná vlna stížností a klíčové metriky zůstanou beze změny, lze funkci trvale odstranit; naopak prudký nárůst stížností, tiketů na podporu nebo odchodů znamená, že je funkce ceněná a má se vrátit.
Identifikace rizik. Hlasitá menšina může vyvolat dojem, že je funkce nepostradatelná, i když data žádný trend neukazují — a naopak tichá většina může být odebráním zmatena, aniž si kdy postěžuje. U velké základny je třeba nechat chování ustálit a počkat, až odezní prvotní reakce. Metoda špatně izoluje příčinu (souběžné změny mohou výsledek zkreslit) a není vhodná pro funkce spojené s bezpečností, smlouvami nebo regulací, kde by tiché odebrání poškodilo důvěru.
Reálná ukázka experimentu
Odkaz na reálný výzkum: Instagram tests hiding Like counts globally (TechCrunch)
Instagram je platforma, kde se počet lajků dlouho považoval za jádro celé služby. V dubnu 2019 začala firma tento údaj skrývat části uživatelů v Kanadě a test postupně rozšířila do Irska, Itálie, Japonska, Brazílie, Austrálie a na Nový Zéland. Šlo o ukázkové odebrání viditelné, hluboce zažité funkce dříve, než padlo globální rozhodnutí.
Cílem bylo zjistit, jak skrytí počtu lajků ovlivní chování uživatelů a jejich "pohodu". Instagram chtěl, aby se lidé soustředili na sdílený obsah, ne na počet reakcí. Firma uvedla, že prvotní zpětná vazba byla pozitivní, ale v testování pokračovala, protože šlo o zásadní zásah do samotné podstaty aplikace.
Test zároveň odhalil, komu na funkci skutečně záleží: studie společnosti HypeAuditor zjistila, že influencerům napříč velikostmi sledovanosti v testovaných zemích klesl počet lajků zhruba o 3 až 15 procent. To Instagramu ukázalo reálný dopad na konkrétní segment a vedlo firmu k práci na nástrojích, které by tvůrcům umožnily doložit svou hodnotu i bez veřejného počtu lajků.
Co vše se dá experimentem testovat?
Takeaway test odvádí svou hodnotu ve chvíli, kdy nelze věřit deklarovaným preferencím nebo nejsou známé. Uživatelé teprve svou reakcí na ztrátu funkce odhalí, jakou pro ně má skutečnou cenu. Hodí se proto k zodpovězení otázek jako:
Skutečná hodnota funkce: zda uživatelům konkrétní funkce reálně chybí; potvrzením je vlna stížností nebo dotazů po jejím odebrání.
Deklarované versus reálné využití: zda funkce, kterou uživatelé v dotaznících označují za důležitou, je tou, kterou opravdu používají; potvrzením je rozpor mezi tichým přijetím odebrání a dřívější slovní preferencí.
Hodnota pro konkrétní segment: komu na funkci záleží nejvíc; potvrzením je rozdíl v reakci a metrikách mezi segmentem, který si funkci ponechá, a segmentem, který o ni přijde.
Náklady na údržbu versus přínos: zda se vyplatí funkci dál udržovat; potvrzením je stabilita klíčových metrik po odebrání, která ospravedlní její vyřazení.
Závislost navazujících toků: zda na funkci závisí jiné části produktu; potvrzením je zmatení uživatelů nebo pokles v navazujících krocích, i když přímá stížnost nepřijde.
Jiné označení pro experiment
Disable a Feature
Feature Removal Test
