English
ČeštinaWizard of Oz experiment
Tvoříme obsáhlou knihovnu znalostí o produktovém vývoji jako součást naší mise. Knihovna slouží všem, kteří se snaží zlepšit v rozhodování, primárně v rozhodování o dalším rozvoji produktu. Ať už jsi vynálezce, produktový manažer nebo Chief Product Officer, používání určitých výzkumných metod a experimentů zvyšuje šanci na vytvoření správných produktů a jejich funkcí pro správné publikum (build the right thing for right audience). Dnes si představíme Wizard of Oz validační metodu.
Kdy experiment použít?
Wizard of Oz se hodí, když je třeba ověřit poptávku nebo chování zejména u automatizačních a datových produktů. Uživatel je přesvědčen, že komunikuje s hotovým automatizovaným systémem, ačkoliv odpovědi ve skutečnosti obsluhuje člověk skrytý v pozadí. Na rozdíl od příbuzné metody Concierge, kde uživatel ví, že službu poskytuje ručně člověk, Wizard of Oz iluzi automatizace zachovává — testuje se proto to, jak lidé reagují na zdánlivě hotový produkt. Metoda je vhodná, když:
vývoj plné autoamtizační funkčnosti by byl drahý nebo časově náročný;
u všech typů automatizace a produktů spojených s automatizací
u všech AI systémů a produktů spojených s AI
metotoda je hlavně vhodná pro softwarové produkty
není jisté, zda o navrhované řešení vůbec bude zájem;
testuje se nové rozhraní (chatbot, hlasový asistent, AI), kde je chování uživatele nejisté;
tým nemá rozpočet ani kapacitu postavit funkční verzi generického automatizovaného chování;
je třeba získat reálná data o chování dříve, než se nastaví pravidla a logika automatizace.
Základní princip experimentu
Podstatou je předstírat automatizaci. Uživatel pracuje se zdánlivě hotovým produktem, zatímco úkoly za oponou ručně vykonává člověk — „kouzelník". Díky tomu lze ověřit hodnotu řešení bez stavby drahého backendu a to rychle.
Definovat cíl a úlohu. Je třeba určit, jaký předpoklad se testuje, a vybrat konkrétní úlohu, kterou by uživatel s produktem běžně dělal. K tomu se připraví scénář pro „kouzelníka".
Připravit věrohodné rozhraní. Stačí jednoduchý klikací prototyp nebo skutečné aplikační rozhraní, jehož skryté části ovládá kouzelník. Navenek musí působit jako reálný produkt.
Nastavit obsluhu v pozadí. Kouzelník simuluje odpovědi systému (mění obrazovku, píše e-mail, doručuje očekávaný výstup, píše AI texty) a drží se scénáře, aby iluze automatizace zůstala konzistentní.
Spustit test s uživateli. Účastníci z cílové skupiny interagují s prototypem v domnění, že je plně automatický. Kouzelník reaguje v reálném čase, pozorovatel zaznamenává chování.
Sbírat data a vyhodnotit signál. Sledovat je vhodné míru dokončení klíčové akce, počet objednávek či plateb, spokojenost a opakované použití. Signál pro stavbu reálné automatizace přichází tehdy, když uživatelé přesvědčení o automatizaci klíčovou akci opakovaně dokončují (například zaplatí) v takové míře, že je poptávka prokazatelně potvrzená.
Identifikace rizik. Metoda z principu neškáluje — ruční obsluha nezvládne velké objemy ani složité scénáře. Lidská obsluha vnáší nekonzistenci, která zkresluje data. Funguje jen u jednoduchých, kontrolovaných toků dat a informací. Klade vysoké nároky na koordinaci v reálném čase. A protože stojí na klamu, hrozí ztráta důvěry, pokud uživatel iluzi odhalí — proto je namístě následný debrief a etická opatrnost.
Reálná ukázka experimentu
Odkaz na reálný výzkum: We charged $100/month for an AI that was really just two guys surviving on pizza.
Zakladatelé Fireflies.ai Sam Udotong a Krish Ramineni chtěli v roce 2017 ověřit, zda firmy zaplatí za asistenta, který se připojí ke schůzce a pošle z ní poznámky. Místo stavby přepisovacího enginu zvolili ruční cestu: za 100 dolarů měsíčně nabízeli zdánlivou AI, která se „připojí ke schůzce". Ve skutečnosti se na hovor potichu napojil jeden ze zakladatelů pod jménem „Fred z Fireflies.ai", celou schůzku mlčel a poznámky si zapisoval ručně.
Z pohledu zákazníka to vypadalo jako automatický nástroj — souhrn dorazil zhruba deset minut po skončení schůzky. Tímto způsobem zakladatelé obsloužili kolem stovky schůzek a příjem pokryl jejich nájem v San Franciscu. Ruční zápis jim navíc přesně ukázal, jak má vypadat kvalitní poznámka, což později přímo formovalo vývoj skutečné AI.
Jakmile byla poptávka prokázána, tým postavil reálný přepisovací engine (funkční do konce roku 2018). Z experimentu „dva kluci přeživší na pizze" vyrostla firma s hodnotou přes miliardu dolarů.
Co vše se dá experimentem testovat?
Hlavní silou metody je ověření, zda o řešení automatizaci existuje skutečná poptávka, a to dříve, než se postaví drahá technologie. Testovat lze zejména:
Validace poptávky: zda lidé navrhovaný produkt skutečně chtějí. Signálem je, že dokončí klíčovou akci (objednají, zaregistrují se, využíjí danou část apliakce), i když výstup dorazí ručně a s prodlevou.
Validace výstupu automatizace: zdali výstup z automatizace má očekávnaou kvalitu a formu. Signálem je, že lidé službu opakovaně používají.
Validace ochoty platit: zda je zájem dost silný na zaplacení. Signálem je reálná platba či závazná objednávka za nasimulovanou službu.
Validace interakce a očekávání: jak uživatelé rozhraní používají a co od něj čekají. Signálem jsou body, kde tápou, a kroky, které přeskakují.
Validace jazyka a záměru u AI a hlasových rozhraní: jak lidé formulují dotazy a jakým slovům rozumí. Signálem jsou přirozené formulace, které kouzelník zachytí bez reálného algoritmu.
Pochopení pracnosti automatizace: co vše obnáší přinést výstup k uživateli. Signálem je zmapování ručních kroků, které bude později nutné automatizovat, které slouží jako roadmapa.
Jiné označení pro experiment
Mechanical Turk
OZ Paradigm
Wizard of Oz MVP
