Jedním z prvních úkolů, který jsem si po svém nástupu Pipedrive vzal jako designér na starost, bylo zlepšování konverzní míry pro bezplatné vyzkoušení jinak placeného rozšíření pro získávání nových obchodních příležitostí. Tou dobou jsem se ve firmě ještě rozkousával a tohle vypadalo na zajímavý projekt, který by mi s tím pomohl.
Během několika týdnů se nám podařilo připravit a spustit sérii experimentů, ze kterých vzešlo několik zajímavých zjištění a příležitostí na zlepšení samotné konverzní míry a tedy i zvýšení příjmů.
Zvyšovat konverzní míru chce dnes asi kdokoliv, kdo provozuje nějakou službu či produkt. Ať už je to více zákazníků na e-shopu, více prodaných lístků na kolotoč a nebo jen více zájemců, kteří vejdou do vašeho obchodu.
Co jsem si zatím vyzkoušel, je potřeba zlepšování konverzí pečlivě připravit, tedy:
- Stanovit si určitá pravidla.
- Definovat si známá a neznámá fakta.
- Vymyslet možnosti řešení.
- Rozdělit zodpovědnosti a úkoly.
Pomůže to předejít případným diskuzím o tom, že si někdo myslel něco jiného, že před tím jsme to dělali takhle, atd. Stejně tak jsme to udělali v Pipedrive a tady jsou mé postřehy.
Připravujeme zlepšování
Celé to začalo tím, že naše product managerka identifikovala několik příležitostí, které bychom mohli zlepšit. Protože bychom ale nezvládli řešit vše najednou, rozdělili jsme si to na jednotlivé části.
Součástí celého flow bylo také začít používat placenou verzi, tedy stát se platícím zákazníkem. Pro tuto fázi experimentů jsme vybrali právě tu část, kdy se návštěvník rozhoduje pro vyzkoušení zkušební verze na 14 dní s tím, že chceme zvýšit počet lidí, kteří danou funkcionalitu vyzkouší.
Na základě kvalitativního výzkumu jsme věděli, že jsme určitě nedosáhli možné hodnoty. Proto jsme například:
- Zkoumali jsme výstupy z kvalitativního, ale i kvantitativního výzkumu.
- Analyzovali jsme data a dívali se na průchod danou „cestou“.
Dívali jsme se například na to:
- Kolik lidí skutečně projde všemi kroky pro aktivaci zkušební verze.
- Jak dlouho lidem trvá se „rozhodnout“ pro aktivaci zkušební verze.
- Kam lidé v případě nevyzkoušení pokračují dál, kam případně odejdou.
Na základě našeho zkoumání a slučování informací jsme si definovali sady hypotéz, které jsme chtěli využít pro řešení.
Zároveň s tím jsem se podíval na možnosti a případné výsledky. S ohledem na příjmy jsem propočítal jednotlivé varianty a intervaly, tedy co by nám různé změny konverzního poměru přinesly a zda by se nám vše vyplatilo, tedy co když zvedneme konverzní poměr například o:
- 5 %,
- 10 %,
- 25 %,
- 50 %.
Nebo respektive cokoliv mezi tím a kolik peněz by nám daná změna přinesla.
Ano, cílem bylo udělat to celé smysluplnější a lepší, takže lidé budou mít větší tendenci danou věc vyzkoušet a nic jim při tom nebude stát v cestě. Je ale potřeba si určit i konkrétní hranice, kdy to celé dává byznysově smysl – protože ne všechny změny (i ty pozitivní) se mohou v důsledku vyplatit.
Pravidla pro konzistentní rozhodování
Ještě jednu věc jsem si chtěl před naším experimentováním ujasnit. Po zkušenostech s experimentováním z dřívějška jsme pro náš tým připravil sadu pravidel, kterých bychom se mohli při rozhodování o přijetí či zavržení výsledků experimentu držet. Chtěl jsem totiž, ať každý experiment posuzujeme stejně a nechtěl jsem naše rozhodování stavět pouze na tom, zda bude příležitosti vyšší nebo nižší.
Konkrétně jsem nadnesl, že:
- Vždy uděláme pouze jednu změnu – pokud změníme barvu tlačítka, nic dalšího se nezmění. Případně až v jiném experimentu.
- V jeden čas nám v celé oblasti poběží pouze jeden experiment – neměli jsme dostatečně velkou základnu lidí, abychom je mohli bezpečně mohli distribuovat mezi různými experimenty a nechtěli jsme, ať je ovlivní a my pak nevíme, co na výsledek mělo vlastně vliv.
- Získáme požadovaný vzorek a rozhodneme se, zda budeme pokračovat – možná totiž bude potřeba víc dat na „usazení“ trendu.
- Zapojíme všechny návštěvníky dané stránky, ale pouze lidi, kteří mohou danou funkci spustit. To kvůli tomu, abychom si jasně definovali segmenty.
Co se týče statistických údajů, řekli jsme si, že budeme:
- Experiment počítat s využitím 90 % pravděpodobnosti v rámci všech experimentů. Vyšší míra není potřeba, protože neděláme žádný vědecký test a 80 % jsme se shodli, že by bylo málo a rozptyl výsledků by byl příliš velký.
- Požadovaná minimální změna je 25 % relativně, případně 2,5 procentních bodů absolutně.
U posledního bodu jsme si řekli, že budeme změny menší jak 10 % relativně automaticky odmítat, změny menší než 25 % ještě prvně zvážíme s ohledem na danou příležitost.
Důvodem k tomu bylo, že u menších změn by byly případné další dílčí náklady vyšší a dlouhodobém horizontu by nám stejně pravděpodobně nepřinesly požadovaná čísla definovaná v interních OKRs. Zatímco hodnoty nad 10 až 25 % už jsou z pohledu čísel slibnější.
Zároveň si dovolím zmínit jednu věc, nad kterou jsem přemýšlel během přípravy experimentů. Je potřeba tu statistiku tolik hrotit? Jak se můžete dočíst například v knížce Surveys That Work, sami statistici nechápou, proč lidé v poslední době dělají takový humbuk kolem statistické významnosti. Přeci jen neděláme žádnou vědu a občas může být lepší prostě danou věc zkusit rovnou – tedy navrhnout, vypustit a sledovat, co to udělá. My jsme toho ale dělali trochu víc najednou, tak jsme potřebovali nějaká data a nakonec k tomu tu statistiku využili.
Brainstormujeme možnosti
Když jsme si dali všechny tyhle věci dohromady, posledním krokem v naší přípravě bylo zkusit přinést nějaké nápady na to, jak daný problém odstranit – tedy jak bychom mohli pomoci lidem s rozhodováním o tom, zda zkušební verzi vyzkoušet.
Naplánoval jsem nám tedy hodinový brainstorming, na který jsem pozval různé profese, abychom získali co nejširší pohled a perspektivu. Konkrétně jsme měli:
- 2 designéry,
- Product Manager,
- Marketing Managera,
- Frontend vývojáře,
- Backend vývojáře.
Dali jsme tedy hlavy dohromady a začali přemýšlet nad tím, co a kde zlepšit. Abychom se dostali na stejnou loď, tak jsme:
- Prošli společně celou problematiku.
- Koukli se na data a informace, které jsme měli k dispozici.
- Nechali prostor pro dotazy a doplňující připomínky.
Po úvodní fázi definice a shrnutí problému jsme si položili následující otázku:
Jak bychom mohli lidem pomoci s rozhodováním pro vyzkoušení zkušební verze?
A začali generovat nejrůznější nápady. Dělali jsme to hezky po staru formou klasického brainstormingu:
- Tedy nápady jsme zmiňovali nahlas a zapisovali do MIRO.
- Šli po co nejvíce nápadech, i když byly šílené. K tomu jsem vedl příkladem a jako první vykopl úplný nesmysl. (Ledy ale roztály a šlo to pak samo.)
- Inspirovali jsme se z nápadů ostatních.
K tomu jsem nám právě připravil známá pravidla brainstormingu, aby se nám lépe přemýšlelo a drželi jsme tak nit.
Během 30 minut se nám podařilo vygenerovat asi 40 různých nápadů. Některé byly opravdu grandiózní a hodně dlouho jsme se poté spokojeně usmívali. Z nich jsme si poté vybrali pomocí puntíkového hlasování ty nejslibnější nápady, se kterými jsme chtěli dále pracovat.
No a samotné dotažení, spuštění a vyhodnocení experimentu si nechám zase někdy na příště. To nejdůležitější jsme zatím udělali a teď už jen experimenty dotáhnout – což je podle mě už to nejmenší.
Přípravu není radno podcenit
Když bych to shrnul, experimenty se nám poměrně bez problémů dařilo realizovat, zamítat a přijímat. O každém výsledku jsme vedli otevřenou týmovou diskuzi, odpovídali na různé dotazy a rozhodovali, zda budeme výsledek akceptovat nebo ne – vždy s ohledem na pravidla, které jsme si vytyčili na začátku. Nikdy tak nenastal zásadní problém v tom, že bychom se neshodli a mohli jsme se tak posunout dál.
Pravidelně jsme také každý týden v rámci týdenních schůzek sledovali klíčové metriky, jako je ztráta zákazníků (churn) a příjmy (revenue). Pokud by byl nějaký problém v rámci experimentů a my mířili do pasti, viděli bychom to.
No a protože jsme za tu dobu udělali několik experimentů, tak se v dalším článku podělím o to, jak jsme na to šli, jak takový experiment vypadal a jak nám to celé fungovalo.