«Testing Business Ideas»: 44 експерименти, які не варто сприймати як рецепти

Процес починається з того, що припущення, закладені в ідею, стають явними. Кожне перетворюється на гіпотезу («Ми вважаємо, що…») — перевірювану, точну та сфокусовану на одному припущенні, — і класифікується за трьома типами ризику:

• Бажаність (desirability) перевіряє, чи хочуть цього клієнти.
• Здійсненність (feasibility) — чи здатна команда це створити й реалізувати.
• Життєздатність (viability) — чи варто це робити з фінансової точки зору. Книга радить досліджувати бажаність першою.

Далі йде карта припущень. На одній осі — важливість, на іншій — наявні докази. Припущення, які є критичними й водночас не мають жодних доказів, тестують першими, оскільки саме вони можуть поховати ідею, якщо виявляться хибними.

Основну частину книги займає бібліотека експериментів: 44 варіанти, поділені на дослідницькі (дешеві, зі слабкими доказами, які задають напрям) та валідаційні (дорожчі, із сильнішими доказами, які підтверджують гіпотезу). Вибір залежить від типу гіпотези, рівня невизначеності та терміновості наступного рішення. Книга наводить послідовності для різних типів бізнесу — від дешевих до дорогих і від слабких доказів до сильних.

Після експерименту команда оцінює докази й ухвалює рішення: продовжувати, змінити напрям (pivot) чи закрити ідею. Картка експерименту (test card) та картка навчання (learning card), які фіксують кожен експеримент, походять із книги «Value Proposition Design»; ця книга додає до них методику оцінювання доказів і подальших дій. Навколо самого методу вибудувані розділи про виділену міжфункціональну команду та про лідерів, які дозволяють доказам переважати над думками.

Що досі залишається актуальним

1. Шкала доказів — найцитованіша частина книги, і заслужено. Докази посилюються за чотирма осями: від думок до фактів, від слів до дій, від лабораторних умов до реального світу і від невеликих зобов’язань, як-от електронна адреса, до великих, як-от передоплата. Вона витримує перевірку часом, бо не залежить від того, який саме з 44 експериментів було проведено. Будь-який результат можна розмістити на цій шкалі. Книга додає другий вимір — рівень довіри: скільки експериментів провели для однієї й тієї самої гіпотези і наскільки різними вони були. Саме це не дає команді видати результати одного опитування за доказ.
2. На думку ван дер Ліндена, якби довелося залишити лише одну вправу з цієї книги, варто було б обрати карту припущень. Вона ставить питання, з якого мав би починатися будь-який план тестування: яке припущення, якщо воно хибне, поховає ідею і які докази за ним стоять.
3. Книга також радить свідомо формулювати частину гіпотез у протилежному напрямку. Поруч із «Ми вважаємо, що клієнти платитимуть за це» варто записати «Ми вважаємо, що клієнти не платитимуть за це». Якщо всі гіпотези сформульовані так, як команда сподівається, експерименти витрачаються на підтвердження того, у що вона й так вірить. Це найкращий хід книги проти упередження підтвердження, і майже ніхто його не використовує.

Експеримент, який усі проводять першим, книга навчає найгірше

Майже кожна послідовність у книзі починається з інтерв’ю з клієнтом. Це перший експеримент, який проводить більшість команд, і саме він визначає, чи спирається все подальше на щось реальне. Книга подає його в тому самому форматі, що й інші 43 експерименти: вартість, сила доказів, чекліст, приклад сценарію і поради щодо пошуку співрозмовників. Як рецепт це справедливо. А от навичку, яку каталожний запис передати не здатен, — ні.

Опитування здається доказом: воно дає цифри, а цифри створюють враження наукової обґрунтованості. На ранньому етапі тестування, однак, якісне інтерв’ю дає більше, ніж кількісне опитування. Коли команди все ж проводять інтерв’ю, результат зазвичай один із двох. Або це розмова без структури, яка дає анекдоти. Або анкета, проговорена вголос, яка перетворюється на опитування з гіршою вибіркою.

Працює інший підхід: використовувати інтерв’ю, щоб перевірити сам профіль клієнта — завдання (jobs), болі (pains) і вигоди (gains) — по черзі, звіряючи їх із тим, що людина справді робила.

Власна шкала доказів книги пояснює, чому опитування — неправильний перший крок. Опитування фіксує те, що люди кажуть, а не те, що вони роблять. Ця шкала міститься в тій самій книзі, що й бібліотека експериментів, і мовчки засуджує те, з чого починає більшість читачів.

Якісно проведене інтерв’ю здатне сягнути й далі по ланцюгу. Виробник, у якого працює близько 150 людей, опитав клієнтів своїх клієнтів — кінцевих користувачів продукту. Те, що компанія дізналася від цих кінцевих користувачів, дозволило покращити ціннісну пропозицію для власних прямих клієнтів. Без цих розмов компанія не отримала б цих інсайтів.

У цьому експерименті невдача рідко полягає в неправильному виборі. Найчастіше правильний експеримент проводять погано, а результат усе одно сприймають на віру.

Де книга зупиняється

Хороша книга має залишити команду здатною самостійно обирати й проводити наступний експеримент, і саме за цим критерієм оцінюються наведені нижче обмеження.

Перше обмеження — те, на яке вказують інші читацькі огляди. Бібліотека з 44 експериментів, кожен у тому самому короткому форматі, — це «меню», а не інструкція. Цінність книги — у логіці вибору та шкалі доказів, а не в самих рецептах.

Друге обмеження стосується виробництва. Бібліотека орієнтована переважно на швидкий зворотний зв’язок у споживчому сегменті: онлайн-реклама, лендинги, A/B-тестування, швидкі опитування. Книга наводить послідовності для продажу обладнання, програмного забезпечення чи послуг іншим компаніям, але навіть послідовність для обладнання завершується краудфандингом.

У промисловій компанії з циклом продажу 18 місяців і закупівельним комітетом із шести осіб половина цих експериментів не підходить. Неможливо знайти відповідь за допомогою A/B-тестування, коли реальних покупців у Європі — 40 компаній і всі вони відомі поіменно. Натомість доводиться використовувати повільніші й менш елегантні інструменти: лист про наміри, платний пілотний проєкт, пробну комерційну пропозицію, пропущену через реальний процес закупівлі, або «консьєрж»-експеримент з одним лояльним клієнтом. Лист про наміри та пробний продаж є в книзі — у кінці бібліотеки. Перебудова послідовності під закупівельний календар клієнта — це основна частина роботи, але про це не сказано на жодній сторінці.

Третє обмеження — те, що упускають з уваги читачі у своїх відгуках: число 44 хибне в обох напрямках.

У бік зменшення: жодна команда не проводить усі 44 експерименти. Які з них доречні, залежить від ситуації, бізнес-моделі, ціннісної пропозиції, компанії та галузі; деякі ніколи не застосують до виробника обладнання. Уміння полягає не в знанні всіх експериментів, а у виборі правильного експерименту для правильної гіпотези в потрібний момент. Книга навчає саме цього, а потім ховає цю навичку за каталогом, що спокушає до «покупок».

У бік збільшення: експериментів більше, ніж 44. Книга вийшла 2019 року, до того як генеративний ШІ став практично застосовним, тож її бібліотека — знімок того, що було доцільним на той момент. Взяти хоча б інтерв’ю з клієнтом. Дві його частини стали дешевими: побудова сценарію на основі профілю клієнта, коли кожне питання перевіряє завдання, біль чи вигоду, а не просто відтворює їх, і синтез 20 транскриптів у перелік головних завдань, болів і вигод для одного типу клієнта в сегменті — раніше на це йшов цілий тиждень чиєїсь роботи. Це не додало 45-й експеримент, а змінило вартість першого. Втім, якість синтезу залежить від вхідних даних: 20 неякісних інтерв’ю однаково дадуть пристойний топ-5. Який саме інструмент підходить, залежить від конкретної мети, а інструменти швидко змінюються.

Четверте обмеження коротке. Крок ухвалення рішення передбачає, що хтось хоче знати правду, а книга нічого не каже про те, що робити, коли докази вказують на відмову від ідеї, а організація вирішує продовжувати. Портфель без дисципліни вчасно зупинятися — це просто список побажань.

Резюме

Усе перелічене не робить книгу менш корисною. Логіка вибору та шкала доказів витримали перевірку часом. А каталог застарів так само, як застаріває будь-який каталог.

Книжку варто читати тим, у кого є ідеї, що чекають на докази, і кому потрібно, щоб команда домовилася, що тестувати першим і коли зупинитися. Якщо ж читач сподівається, що книга навчить його якісно проводити кожен експеримент, на нього чекає розчарування. Розділи пояснюють, що таке експеримент і скільки він коштує. Майстерність же його проведення залишається поза текстом.