Cognitive Task Analysis experiment

Tomáš Veselý - podpořen AI
před 2 dny
Minut čtení: 4

Tvoříme obsáhlou knihovnu znalostí o produktovém vývoji jako součást naší mise. Knihovna slouží všem, kteří se snaží zlepšit v rozhodování, primárně v rozhodování o dalším rozvoji produktu. Ať už jsi vynálezce, produktový manažer nebo Chief Product Officer, používání určitých výzkumných metod a experimentů zvyšuje šanci na vytvoření správných produktů a jejich funkcí pro správné publikum (build the right thing for right audience). Dnes si představíme Cognitive Task Analysis validační metodu.

Kdy experiment použít?

Analýza kognitivních úkolů (anglicky Cognitive Task Analysis) je vhodná tam, kde úspěch závisí na tom, jak uživatel přemýšlí, rozhoduje se a vyhodnocuje situaci, ne jen na tom, jaké kroky fyzicky vykoná. Metoda se hodí pro úkoly s vysokou mírou nejistoty, složitosti nebo odbornosti.

Produkt řeší komplexní úkol, u kterého na povrchu není vidět, podle čeho se zkušený uživatel rozhoduje.
Mezi nováčky a experty je velký výkonnostní rozdíl a je třeba pochopit, čím je daný.
Uživatelé pracují pod tlakem, s neúplnými informacemi nebo v rizikovém prostředí.
Stávající rozhraní vede k chybám nebo zbytečné kognitivní zátěži, jejíž příčina není zřejmá.

Základní princip experimentu

Podstatou metody je zviditelnit neviditelné, odhalit myšlenkové pochody, signály a heuristiky, podle kterých se zkušený uživatel rozhoduje při plnění úkolu. A ty poté použít pro vytvoření hodnotové nabídky. Postupuje se následovně:

Vymezit doménu a vybrat experty. Je třeba zmapovat úkol a najít doménové experty (anglicky subject matter experts), tedy lidi, kteří daný úkol zvládají na vysoké úrovni.
Připravit realistické scénáře. Sestaví se konkrétní situace, kterými se expert během rozhovoru provede a u nichž se zkoumá jeho uvažování. Doporučuje se vycházet z reálných nebo věrohodných situací, ve kterých se odehrávají klíčová rozhodnutí.
Provést rozhovory. Pomocí strukturovaných rozhovorů a pozorování se prochází konkrétní situace a zkoumají se rozhodovací body, povšimnuté signály, použité mentální modely a zvažované alternativy. Pomáhají otázky typu „Co jsi v tu chvíli hledal?", „Co to rozhodnutí ztěžovalo?" nebo „Jak jsi poznal, že je něco špatně?".
Vytvořit kognitivní mapy. Kvalitativní výstupy se třídí do kódovacích schémat a vizuálních map (rozhodovací žebříky, kognitivní vývojové diagramy). Sledovat je vhodné kognitivní zátěž, efektivitu plnění úkolu a shodu s mentálním modelem uživatele. Signálem k vytvoření nějakého produktu je opakovaně se objevující rozhodovací bod, na kterém experti váhají nebo kde se nováčci systematicky odchylují — právě tam je možné vytvořit hodnotovou nabídku, která s rozhodováním pomůže.
Převést poznatky do návrhu produktu. Zjištění se promítají do požadavků na produkt, úprav rozhraní nebo podpůrných pomůcek, které odpovídají skutečným kognitivním nárokům úkolu.
Identifikace rizik. Metoda je náročná na čas i odbornost a stojí a padá s kvalitou vybraných expertů, malý nebo nereprezentativní vzorek dává zkreslené závěry. Část expertních znalostí je tacitní a obtížně se verbalizuje, takže hrozí, že část rozhodovací logiky zůstane neodhalena. Objem kvalitativních dat je velký a jejich interpretace je subjektivní. Výsledky navíc popisují, jak se úkol řeší dnes, ne nutně to, jak by měl vypadat ideální budoucí návrh.

Reálná ukázka experimentu

Odkaz na reálný výzkum: Lessons Learned from Customizing and Applying ACTA to Design a Novel Device for Emergency Medical Care

V rámci průmyslového (komerčního) projektu vznikal nový kombinovaný přístroj pro přednemocniční péči, který má sloučit monitor vitálních funkcí, ventilátor a resuscitační zařízení do jednoho. Cílem bylo snížit fyzickou i mentální zátěž záchranářských týmů, které dnes musí u zásahu nosit a obsluhovat několik těžkých přístrojů s vlastními obrazovkami. Klíčová otázka zněla, jak navrhnout rozhraní, které odpovídá tomu, jak tým pod tlakem skutečně uvažuje a rozhoduje se.

Tým proto po dobu jednoho roku aplikoval plně digitální verzi Applied Cognitive Task Analysis (ACTA). Sestavil podrobný hierarchický diagram úkolu pro rozsáhlý záchranný scénář, provedl jedenáct rozhovorů se subject matter experts (zkušenými záchranáři) a uspořádal dva návrhové workshopy. Celý proces doprovázely mezioborové týmy, které spojily znalosti z přednemocniční péče, požadavkového inženýrství a vývoje zdravotnických produktů.

Výsledkem bylo 34 skic a tři mockupy uživatelského rozhraní kombinovaného přístroje, postavené na odhalených kognitivních nárocích — co tým v daný okamžik potřebuje vidět a kde je zátěž nejvyšší. CTA tak převedla tacitní znalosti expertů do konkrétních návrhových požadavků na produkt.

Co vše se dá experimentem testovat?

Hlavní hodnota metody spočívá v tom, že odhalí skryté kognitivní nároky úkolu — to, co rozhoduje o úspěchu, ale v běžném pozorování ani uživatelském testu nevyplyne na povrch. Konkrétně se hodí ověřit:

Shoda s mentálním modelem: zda struktura produktu odpovídá tomu, jak si úkol v hlavě představuje sám uživatel; signálem je, že experti popisují postup stejně, jak ho rozhraní vede.
Kognitivní zátěž: které kroky přetěžují pracovní paměť nebo nutí uživatele držet v hlavě příliš mnoho informací najednou. Ty je ideální automatizovat.
Rozhodovací body a signály: podle jakých vodítek se zkušený uživatel rozhoduje v kritických momentech a které z nich produkt nepodporuje.
Tacitní znalosti a heuristiky: zkratky a pravidla, která experti používají automaticky a která chybí v oficiálních postupech i v zaškolení nováčků. Tyto zkratky a pravidla jsou ideálním zdrojem pro inspiraci na nové funkce.
Náchylnost k chybám: ve kterých místech se uvažování nováčka systematicky odchyluje od experta a kde tedy hrozí selhání. Tyto boy v produktu musí být speciálně testovány, aby se zaručila jejich hodnota pro nováčka i zkušeného experta.
Informační architektura: jaká data musí být v daný okamžik dostupná, aby uživatel mohl správně rozhodnout.