Дело №0: «Конверсия упала» — первое расследование

Бриф

Журнал Л., запись №0 — самая ранняя, ещё до нумерованных дел:

Понедельник. CEO в чате: „Сквозная конверсия за неделю упала с 6.0% до 4.9%. ЧТО ПРОИСХОДИТ?!“ Дала себе час на ответ.

Вот исходные данные. Сквозная конверсия — доля пользователей, которые дошли от первого шага воронки до последнего; здесь — от открытия до оплаты. Все этапы посчитаны по уникальным пользователям. Окно конверсии — семь дней с первого шага пользователя, определения этапов для обеих недель одинаковы:

В журнале изменений есть ещё один факт: в понедельник недели 11 маркетинг запустил новую рекламную кампанию. Методику расчёта за это время не меняли — это Л. проверила первым делом.

Дальше — твоя работа. Прежде чем читать шаблон, посмотри на таблицу минуту и попробуй сформулировать, что именно в ней требует объяснения.

Шаблон расследования: шесть шагов

Этот шаблон — скелет каждого дела в курсе. Выпиши его себе: дальше он будет наполняться деталями.

Шаг 1. Что именно изменилось. Назови метрику, оба значения, период сравнения, окно и то, кого или что считаем. Здесь сквозная конверсия уникальных пользователей за семидневное окно снизилась с 6.0% на неделе 10 до 4.9% на неделе 11. Разница составляет −1.1 процентного пункта (п.п.): 4.9% − 6.0% = −1.1 п.п. Относительное изменение — примерно −18%: (4.9% − 6.0%) / 6.0% ≈ −18.3%. Первым делом проверь методику: не менялись ли определение метрики, окно и часовой пояс. Иногда «падение» объясняется уже на этом шаге.

Шаг 2. Разложи метрику. Шаговая конверсия — доля пользователей, перешедших с одного этапа воронки на следующий. Для одной и той же последовательной воронки сквозная конверсия равна произведению трёх шаговых: оплатил / открыл = (посмотрел / открыл) × (корзина / посмотрел) × (оплатил / корзина). Значит, сквозная конверсия могла снизиться на любом из трёх переходов или на нескольких сразу. Посчитай все шаговые конверсии за обе недели.

Шаг 3. Найди первый уровень расхождения. Сравни шаговые конверсии двух недель попарно и найди первый переход, на котором они различаются. На этом шаге нужен точный адрес: не «конверсия упала», а «просел такой-то переход».

Шаг 4. Собери факты. Факт — это то, что видно в данных и не требует веры: абсолютные значения, доли, изменения. Обязательно посмотри и на числитель, и на знаменатель. Доля может снизиться, даже если числитель не уменьшился: достаточно, чтобы знаменатель вырос быстрее.

Шаг 5. Сформулируй гипотезы. Гипотеза — это объяснение, которое согласуется с фактами, но пока не проверено. Гипотез должно быть несколько, и они должны различаться по природе: изменения продукта, состав трафика — то есть пришедшей аудитории, качество данных, внешние события.

Шаг 6. Назови данные, которые проверят гипотезы. Каждой гипотезе сопоставь конкретную проверку или следующий запрос данных: «разложить конверсию корзина → оплата по источникам трафика», «сравнить конверсию новых и вернувшихся пользователей». На этом этапе расследование заканчивается не окончательным выводом, а следующим шагом.

Дисциплина всего шаблона держится на одном разделении: факты отдельно, гипотезы отдельно. В отчёте они идут разными абзацами и обозначаются разными словами: «данные показывают» и «возможное объяснение».

Твой вывод — до того, как читать разбор

Прежде чем открыть следующий блок, сформулируй ответ CEO сам. Вот форма, в которую его надо уложить, — заполни её мысленно или в блокноте:

ЧТО ИЗМЕНИЛОСЬ
  метрика: ______, было ______, стало ______ (____ п.п., ____% относительно)
  методика: ______________________

ФАКТЫ (видно в данных)
  1. переходы 1 и 2: ______________________
  2. переход 3: ______________________
  3. вход воронки: ______________________
  4. дошли до оплаты: ____________________
  5. недобор относительно прежней конверсии: ______ оплативших пользователей

ГИПОТЕЗЫ (пока не проверены)
  1. ______________________
  2. ______________________
  3. ______________________

СЛЕДУЮЩАЯ ПРОВЕРКА
  ______________________

Две подсказки, чтобы форма не осталась пустой.

Первая: посмотри на абсолютное число дошедших до оплаты в обеих неделях. Оно одно и то же — 720. Это тот самый случай из урока про доли: сквозная конверсия упала, а числитель не изменился. В самой дроби снижение объясняется ростом знаменателя: вход воронки вырос, а число оплат — нет. Почему оплаты не выросли вместе со входом, ещё предстоит выяснить.

Вторая: гипотезы должны быть разной природы. Одна — про продукт («что-то сломалось на оплате»), другая — про трафик («пришли другие люди»), третья — про данные («часть оплат перестала попадать в журнал»). Если все три гипотезы об одном и том же, ты не выдвигал разные гипотезы, а обосновывал одну догадку.

Заполнил? Теперь можно открывать разбор.

Разбор Л.

Что изменилось. Сквозная конверсия по уникальным пользователям снизилась с 6,0% до 4,9% за неделю: на 1,1 п.п., или примерно на 18% относительно прежнего уровня. Методику не меняли — определения, окно и часовой пояс остались прежними. Значит, падение нельзя объяснить сменой способа расчёта.

Факты.

1. Переходы «открыл → посмотрел» и «посмотрел → корзина» не изменились: 50% и 30% на обеих неделях.
2. Переход «корзина → оплатил» просел с 40% до 32,7%: на 7,3 п.п., или примерно на 18% относительно прежнего уровня.
3. Вход воронки вырос с 12 000 до 14 700 пользователей — на 22,5%. В понедельник запустили новую кампанию.
4. Оплативших пользователей ровно столько же — 720 на каждой неделе. В абсолютных числах число оплативших пользователей не изменилось.
5. На неделе 11 до корзины дошли 14 700 × 50% × 30% = 2 205 пользователей. Если бы конверсия из корзины сохранилась на уровне 40%, оплативших пользователей было бы 2 205 × 40% = 882. Недобор относительно этого сценария — 162 оплативших пользователя.

Гипотезы — ни одна пока не проверена.

• Трафик. Кампания привела людей, которые ведут себя как обычно до корзины, но платят реже: другой сегмент, другое намерение или другая платёжеспособность.
• Продукт. Что-то в оплате действительно ухудшилось на неделе 11: изменился способ оплаты или цена доставки, появилась ошибка в форме. Общая проблема затронула бы разные группы пользователей, а сбой на отдельной платформе или в конкретном способе оплаты — только соответствующий сегмент.
• Данные. Часть оплат перестала записываться в журнал: например, новый экран не отправляет событие об оплате. Тогда реального падения может не быть — есть дыра в трекинге.

Вывод. Просадка локализована на последнем переходе, но её причина пока не установлена. Это может быть проблема кассы, качество трафика или ошибка трекинга. Стабильные 720 дошедших до оплаты не означают, что всё в порядке: при 2 205 корзинах и прежней конверсии их ожидалось бы 882. Поэтому я не объявляю ни кассу, ни трафик виновными до следующей проверки.

Следующая проверка. Разложить переход «корзина → оплата» по источникам трафика и отдельно сравнить новых пользователей с вернувшимися. Если у вернувшихся конверсия осталась около 40%, а просадка сосредоточена среди пришедших из новой кампании, гипотеза о качестве трафика станет сильнее. Если переход просел у разных источников и обеих групп пользователей, вероятнее общая проблема в продукте или трекинге.

Чему учит это дело

Не делай вывод по абсолютам без знаменателя — и по процентам без объёма. Здесь оба взгляда нужны одновременно: процент упал, а число дошедших до оплаты не изменилось. Взгляд только на процент говорит «катастрофа», взгляд только на абсолют — «всё в порядке». Полная картина такая: входящий поток вырос на 22,5%, но оплат больше не стало.

Отделяй факты от гипотез. В разборе выше факты пронумерованы и проверяемы, а гипотезы прямо названы гипотезами. Формулировка «причина пока не установлена» — не трусость, а точность: она задаёт следующую проверку, но не отправляет команду чинить то, что ещё не признано сломанным.

Заканчивай следующим шагом. Дело №0 не закрыто — оно доведено до состояния, в котором ясно, какой анализ нужен дальше. Это нормальный результат очередного этапа расследования.