Sean Ellis Test experiment

Tomáš Veselý - podpořen AI
před 2 dny
Minut čtení: 4

Tvoříme obsáhlou knihovnu znalostí o produktovém vývoji jako součást naší mise. Knihovna slouží všem, kteří se snaží zlepšit v rozhodování, primárně v rozhodování o dalším rozvoji produktu. Ať už jsi vynálezce, produktový manažer nebo Chief Product Officer, používání určitých výzkumných metod a experimentů zvyšuje šanci na vytvoření správných produktů a jejich funkcí pro správné publikum (build the right thing for right audience). Dnes si představíme Product-Market Fit Survey validační metodu.

Kdy experiment použít?

Tato metoda má smysl ve chvíli, kdy už existuje funkční produkt s aktivními uživateli a je potřeba změřit, kolik z nich ho považuje za nepostradatelný. Vhodná je za těchto okolností:

Existuje produkt a skupina lidí, kteří ho reálně používají, ne jen zkusili.
Je třeba rozhodnout, zda přidat plyn a investovat do růstu (marketing, prodej) a scaligu produktu, nebo se ještě vrátit k vývoji.
Uživatelé prošli klíčovou hodnotou produktu, použili ho alespoň dvakrát a v posledních dvou týdnech.
Hrozí předčasné škálování, nebo naopak růst stagnuje a roste churn a je třeba zjistit, zda je příčinou slabý product-market fit.

Základní princip experimentu

Princip stojí na jediné otázce, která měří míru závislosti na produktu. Ptát se na zklamání (negativní emoci). Experiment odhalí, jak nepostradatelný produkt je pro jeho zákazníky, což je důležitý argument pro posouzení product-market fitu. Postup experientu je následující:

Vymezit kvalifikovaný segment. Oslovit pouze uživatele, kteří prošli jádrem produktu, použili ho alespoň dvakrát a byli aktivní v posledních dvou týdnech. Tím se z výběru vyřadí jak čerství registrovaní, tak dávno odešlí uživatelé, kteří by skóre zkreslili. Stejně důležité je zvolit okamžik zaslání dotazníku:
1. Dotazník nemá smysl posílat hned po registraci nebo spuštění, uživatel musí mít dost zkušeností, aby znal hodnotu produktu.
2. Obvykle se vyplatí nechat kohortu aktivní několik týdnů (například oslovit ty, kdo se registrovali alespoň před čtyřmi týdny), u produktů se zkušební dobou pak uživatele ke konci zkušebního období.
3. Smysl má průzkum spustit i po velké aktualizaci nebo pivotu, při stagnaci růstu či vysokém churnu, kdy pomůže odhalit, zda je příčinou slabý product-market fit, a před rozhodnutím o škálování nebo investičním kole.
Zvolit nástroj a kanál. Dotazník je krátký a lze ho doručit e-mailem s odkazem na formulář (Typeform, Google Forms) nebo přímo v aplikaci. Klíčové je, aby vyplnění zabralo jednu až dvě minuty.
Položit klíčovou otázku. Znění je třeba zachovat přesně, drobné změny formulace ovlivňují výsledky: „Jak byste se cítili, kdybyste už nemohli používat [produkt]?" s možnostmi velmi:
1. Zklamán
2. spíše zklamán
3. Nezklamán - produkt není tak použitelný
4. N/A – produkt už nepoužívám.
5. Doplnit lze tři otevřené doplňující otázky: kdo by měl z produktu největší užitek, jaký je hlavní přínos produktu a co by se dalo zlepšit.
Posbírat dostatek odpovědí. Pro směrodatný výsledek stačí přibližně 40 až 50 kvalifikovaných odpovědí. Důležitější než počet je různorodost respondentů a to, aby skutečně produkt používali.
Spočítat a interpretovat skóre. Sledovaná metrika je jediná: podíl odpovědí „velmi zklamán" na celkovém počtu platných odpovědí (bez N/A). Rozhodovací signál je jasný: hodnota 40 % a více znamená dosažený product-market fit a zelenou pro investice do růstu, hodnota pod 40 % říká, že je třeba se vrátit k vývoji produktu. Pomáhá výsledky segmentovat (platící vs. neplatící, nové vs. dlouhodobé), protože fit může existovat v jednom segmentu a v jiném chybět.
Identifikace rizik. Metoda nevaliduje skutečný product-market fit, jen vnímanou závislost, a dokáže vyrobit falešně pozitivní výsledky. Oslovení pouze nejvěrnějších fanoušků skóre nafoukne. Malé vzorky jsou nestabilní, pár desítek odpovědí dává směr, ne statistickou jistotu. Smíchání odlišných segmentů zprůměruje signál a zakryje, kde fit reálně je. Hranice 40 % je vodítko, ne záruka, a samotná čísla je třeba vždy konfrontovat se skutečným chováním uživatelů.

Reálná ukázka experimentu

Odkaz na reálný výzkum: Jak Superhuman vytvořil engine pro hledání product-market fit

E-mailový klient Superhuman, který vede zakladatel Rahul Vohra, v létě 2017 změřil svůj product-market fit pomocí této metody. Uživatelé dostali e-mailem odkaz na dotazník v Typeformu s klíčovou otázkou, jak by se cítili, kdyby Superhuman už nemohli používat. Výsledek byl 22 % odpovědí „velmi zklamán", tedy hluboko pod hranicí 40 %.

Místo dohadů Vohra rozdělil odpovědi na segmenty a zaměřil se jen na ty, kdo by byli velmi zklamaní. Z jejich odpovědí na otázku, komu by produkt nejvíc prospěl, sestavil profil takzvaného high-expectation customer, tedy nejnáročnějšího zákazníka v cílové skupině. Ukázalo se, že to jsou hlavně zakladatelé, manažeři a vedoucí pracovníci. Tým pak rozdělil úsilí na dvě části: posilovat to, co fanoušci na produktu milovali (především rychlost), a odstraňovat námitky vlažnějších uživatelů.

Aby zlepšování bylo měřitelné, Superhuman zavedl OKR s jediným klíčovým výsledkem, kterým byl právě podíl velmi zklamaných uživatelů, a průběžně dotazoval nové uživatele. Během tří kvartálů skóre vzrostlo z 22 % na 58 %, čímž tým získal jistotu, že je čas škálovat.

Co vše se dá experimentem testovat?

Hlavní síla metody je v tom, že abstraktní pojem product-market fit převede na jedno sledovatelné číslo a zároveň ukáže, kdo a proč produkt potřebuje. Konkrétně se dá testovat:

Nepostradatelnost produktu: zda lidé produkt vnímají jako must-have; potvrzuje to podíl 40 % a více odpovědí „velmi zklamán".
Profil ideálního zákazníka: kdo jsou uživatelé, kteří by byli velmi zklamaní; jejich společné rysy (role, obor, velikost firmy) ukážou cílový segment.
Klíčová hodnota produktu: který přínos uživatelé zmiňují nejčastěji jako hlavní důvod používání; signál, co dál posilovat a komunikovat.
Připravenost na škálování: zda zrychlit růst, nebo se ještě vrátit k produktu; rozhoduje překročení hranice 40 %.
Síla jednotlivých segmentů: zda fit existuje u platících, ale chybí u neplatících (nebo naopak); odhalí to segmentace skóre.
Bariéry bránící nadšení: co drží „spíše zklamané" uživatele od plné závislosti; jejich připomínky ukážou, jaké úpravy je posunou výš.