English
ČeštinaIn-app survey experiment
Tvoříme obsáhlou knihovnu znalostí o produktovém vývoji jako součást naší mise. Knihovna slouží všem, kteří se snaží zlepšit v rozhodování, primárně v rozhodování o dalším rozvoji produktu. Ať už jsi vynálezce, produktový manažer nebo Chief Product Officer, používání určitých výzkumných metod a experimentů zvyšuje šanci na vytvoření správných produktů a jejich funkcí pro správné publikum (build the right thing for right audience). Dnes si představíme In-app dotazník validační metodu.
Kdy experiment použít?
In-app dotazník (dotazník v aplikaci) se hodí ve chvíli, kdy je k dispozici živý provoz nebo existující uživatelská základna a je třeba pochopit konkrétní chování přímo v okamžiku, kdy nastává. Vhodné použití:
Existuje běžící produkt nebo web s reálnými uživateli.
Otázka se týká jednoho úzce vymezeného kroku (registrace, dokončení úkolu, opuštění stránky), ne celkového dojmu.
Je potřeba kvalitativní „proč" za daty z analytiky.
Ve větších firmách, kdy produktový manažeři optimalizují část produktu, nikoliv celek.
Základní princip experimentu
Princip spočívá v položení jediné krátké otázky přesně v momentě relevantního chování, dokud má uživatel kontext v živé paměti.
Definovat spouštěč. Určit konkrétní událost, která dotazník vyvolá, například dokončení onboardingu, opuštění košíku, první použití nové funkce.
Nasadit nástroj. Integrovat službu typu Hotjar, Qualaroo nebo Intercom, která umí reagovat na chování na konkrétních URL.
Vložit otázku do existujícího produktu. Pomocí nástrojů jako Hotjat vložit otázku do produktu. Otázka je krátká, jednoznačná, vázaná na právě proběhlou akci („Co tě odradilo od dokončení registrace?") s s ní spojený uživatelský zážitek.
Sbírat odpovědi. Sledovat míru dokončení dotazníku (response rate) a obsah otevřených odpovědí. Zhruba 100 krátkých kvalitativních odpovědí je cíl. Opakující se téma napříč odpověďmi ukazuje, co zlepšit.
Identifikace rizik. In-app dotazníky měří jen jeden okamžik, ne celou zákaznickou cestu (anglicky custoemr journey), a snadno naruší uživatelský zážitek (anglicky cusstomer experience), pokud vyskakují příliš často. Návratnost je sebevýběrová (odpovídají hlasitější uživatelé), malé vzorky jsou směrodatné, ne robustní. Špatně načasovaný spouštěč přinese irelevantní data.
Reálná ukázka experimentu
Odkaz na reálný výzkum: How Udemy Learns From Their Students (Qualaroo)
Vzdělávací platforma Udemy čelila problému s atribucí návštěvnosti: velká část uživatelů přicházela tak zvaně napřímo, přestože je ve skutečnosti přivedla reklama nebo doporučení ofd kamaráda. Uživatelé povětšinou napsali do prohlížeče Udemy.com a stali se součástí organické návětěvnosti. Společnost proto nasadila In-app dotazníky, které novým návštěvníkům kladly jedinou otázku a to, jak se o Udemy dozvěděli.
Dotazováním sledovali, jak se odpovědi mění s postupným zapínáním jednotlivých reklamních kanálů. Díky tomu poznali, který akviziční kanál funguje v které zemi — někde lépe fungovalo vyhledávání, jinde influencer marketing — a mohli přesněji rozdělit reklamní rozpočet.
Co vše se dá experimentem testovat?
Hlavní síla In-app dotazníků je zachytit kvalitativní „proč" přesně v okamžiku, kdy se uživatel nějak chová — proto se hodí na úzce vymezené otázky, kde záleží na čerstvém konkrétním uživatelském zážitku.
Atribuce akvizice: odkud uživatel reálně přišel, ptáme-li se hned po příchodu — opakovaně jmenovaný kanál, který analytika značí jako „direct", odhalí podhodnocený zdroj (případ Udemy).
Příčiny odpadu: proč uživatel opouští konkrétní krok (registrace, košík) — spouštěč na odchod (anglicky exit intent nebo exit trigger point); shlukující se důvod v odpovědích ukazuje, kterou překážku odstranit.
Kvalita konkrétní funkce: zda nově nasazená funkce plní účel — dotaz hned po jejím použití; nízké hodnocení plus opakovaný návrh na úpravu dává konkrétní zadání pro vývoj.
Srozumitelnost onboardingu: kde nový uživatel uvázne — dotaz po dokončení (či nedokončení) onboardingu; opakovaně zmíněný krok je místo k přepracování.
Ověření problému: zda cílová potřeba reálně existuje, ještě před vývojem — dotaz na frustraci v momentě, kdy by ji uživatel pociťoval; potvrzením je shodně formulovaná bolest napříč odpověďmi.
Jiné označení pro experiment
Popup survey
In-product survey
Contextual survey
