Beta Testing experiment

Tvoříme obsáhlou knihovnu znalostí o produktovém vývoji jako součást naší mise. Knihovna slouží všem, kteří se snaží zlepšit v rozhodování, primárně v rozhodování o dalším rozvoji produktu. Ať už jsi vynálezce, produktový manažer nebo Chief Product Officer, používání určitých výzkumných metod a experimentů zvyšuje šanci na vytvoření správných produktů a jejich funkcí pro správné publikum (build the right thing for right audience). Dnes si představíme Beta testing validační metodu.

Kdy experiment použít?

Tento experiment je primárně nasazován ve chvíli, kdy je produkt obsahuje všechny zamýšlené funkce tzv. feature-complete, ale může obsahovat chyby. Experiment je využit k minimalizaci tržních a technických rizik spojených s jeho vydáním. Produkt je namísto interních simulací vystaven reálnému chování uživatelů, čímž je ověřena jeho připravenost v přirozeném prostředí.

Základní princip experimentu

Beta Launch spočívá v uvolnění funkčního, byť nedokonalého produktu omezené skupině uživatelů (Private Beta) nebo široké veřejnosti (Public Beta). Testování je realizováno prostřednictvím monitorování reálné interakce s produkcem, kdy jsou sbírána data o chybách, analyzovány vzorce chování a vyhodnocována zpětná vazba přímo od koncových uživatelů. Nejčastěji se používá v software produktem.

Průběh experimentu pro software produkty:

1. Definován cíl a metriky  (strategie Go/No-go): jsou definovány konkrétní cíle a metriky, které musí být splněny před spuštěním produktu na trhu (Go) pro všechny uživatele,

2. Určena cílová skupina: je definován vzorek 200–300 respondentů odpovídající cílovému profilu. Jsou využíváni buď stávající vysoce aktivní uživatelé (anglicky power users), nebo jsou relevantní testeři vyhledáváni skrze specializované platformy jako BetaTesting.com,

3. Připravení distribuce: jsou zajištěny kanály pro bezpečné doručení softwaru testerům a nástroje pro sběr dat (např. analytika, reportovací formuláře),

   1. Mobilní aplikace: distribuce mobilních verzí je zajištěna skrze nástroje jako TestFlight (iOS) či Google Play Console (Android), které umožňují řízenou správu přístupů přes email,

   2. Webové aplikace: je využito nasazení na skryté subdomény například coolfeature.continuumtracke.com nebo aktivace funkcí pomocí „feature flags“ pouze pro vybrané segmenty uživatelů. Feature flags se aktivují buď na konkrétní uživatele po přihlášení, nebo jiné identifikační údaje,

   3. Algotritmy a datové modely: je využíván paralelní běh nového modelu se stávajícím systémem, přičemž jsou výsledky nového modelu pouze logovány a porovnávány s realitou. Bez ovlivnění uživatelské zkušenosti je takto ověřována přesnost výpočtů na živých datech před jejich ostrým nasazením,

   4. Kritické systémy: je vytvářeno speciální izolované prostředí tzv. staging, kde jsou prováděny testy simulující reálné scénáře. Je tak verifikována stabilita systému před překlopením do ostrého provozu,

4. Nábor a edukace testerů: uživatelé jsou osloveni skrze vybrané kanály a jsou jim poskytnuty instrukce, co a jak testovat,

5. Sběr zpětné vazby: data o chybách, funkčních požadavcích a uživatelském chování jsou aktivně shromažďována a následně validována vůči stanoveným Go/No-go kritériím pro objektivní posouzení připravenosti produktu,

6. Analýza dat: Získané poznatky jsou vyhodnoceny a implementovány do vývojového cyklu; kritické chyby jsou opraveny přednostně,

7. Limitace metody: riziko zkreslení dat úvodní testovací skupinou a možné poškození reputace značky v případě nadměrné chybovosti produktu.

Reálná ukázka experimentu

Odkaz na reálný výzkum: Beta Testing Case Study: Truckerbux

V rámci případové studie mobilní aplikace Truckerbux byl realizován beta test zaměřený workflow plateb v autodopravě. Byly vytvořeny série úkolů typických pro danou roli a následně bylo pozorováno chování uživatelů.

Výsledky beta testování:

• Byly odhaleny 2 chyby (bugy) v aplikaci,

• Bylo identifikováno 6 vylepšení uživatelského zážitku (UX). Bylo zjištěno, že ikony nebyly srozumitelné, proto byly nahrazeny textovými popisky,

• Byly definovány 2 nové klíčové funkce pro produktovou roadmapu: detailní fakturační výpisy a real-time notifikace o zakázkách ve webové aplikaci,

Účastníci hodnotili řešení jako „velmi jednoduché a přehledné“, přičemž reálná zpětná vazba potvrdila unikátnost produktu v daném odvětví.

Co vše se dá experimentem testovat?

Experiment umožňuje validovat široké spektrum hypotéz od technické stability až po psychologii nákupu. Nejčastěji se však používá pro finální zachycení problému před uvolněním produktu na trh:

• Skryté chyby: technické problémy a pády aplikace, které vývojáři během interního testování neodhalili,

• Výkonnostní potíže: zpomalení, sekání nebo nadměrná spotřeba baterie při reálném používání v běžném provozu (mimo laboratorní podmínky),

• Technical Scalability (česky technická škálovatelnost): testování, jak se infrastruktura chová pod reálnou zátěží, odhalení úzkých hrdel produktu,

• Uživatelská přívětivost: identifikace míst, kde uživatelé v rozhraní tápou, kde produkt opouštějí a zda chápou navigaci tak, jak byla zamýšlena,

• Marketingové komunikace: jsou testována marketingová sdělení a jejich srozumitelnost pro cílovou skupinu. Je vyhodnocováno, zda je hodnota produktu uživateli vnímána v souladu se záměrem a zda zvolená terminologie rezonuje s jejich reálnými potřebami,

• Nesrozumitelný obsah: zmatení uživatelů způsobené nejasnými texty, návody nebo popisky tlačítek,

• Future Feature Identification: skrze reálné používání produktu jsou odhalovány chybějící funkce a potřeby, které nebyly v původní specifikaci zahrnuty. Zpětná vazba od beta testerů je využívána k efektivní prioritizaci produktové roadmapy pro další vývojové fáze.