- понимать, когда эксперимент нужен и возможен;
- формулировать причинную гипотезу;
- выбирать единицу рандомизации;
- задавать primary и guardrail metrics;
- понимать на интуитивном уровне ошибки, мощность и значимость;
- избегать преждевременной остановки и подбора метрик после результата.
A/B-тест полезен, если:
- требуется причинный ответ;
- есть достаточный поток наблюдений;
- варианты можно показывать параллельно;
- взаимодействие между группами ограничено;
- цена задержки и техническая стоимость оправданы.
Он не обязателен для исправления очевидного бага, выполнения требования закона, малой B2B-аудитории или необратимого изменения. Тогда используют качественные исследования, анализ временных рядов, квазиэксперименты, поэтапный rollout или экспертную оценку.
- Control: текущий опыт.
- Treatment: одно ясно описанное изменение.
- Единица рандомизации: пользователь, аккаунт, устройство, магазин или регион.
- Единица анализа: объект, по которому считается метрика.
- Eligibility: кто может попасть в тест.
- Exposure: когда участник считается увидевшим вариант.
- Период: полный цикл поведения с учётом дней недели и задержек.
Если один аккаунт увидит оба варианта или пользователи влияют друг на друга, возникает contamination.
- Primary metric: единственный главный показатель решения.
- Secondary metrics: помогают понять механизм.
- Guardrails: фиксируют вред качеству, экономике и соседним сценариям.
- Diagnostic metrics: проверяют корректность экспозиции и реализации.
Не выбирайте основную метрику после просмотра результата. Определите направление, минимально значимый эффект и правило решения заранее.
- Ошибка I рода: увидеть эффект, которого нет.
- Ошибка II рода: не увидеть существующий эффект.
- Статистическая мощность: вероятность обнаружить эффект выбранного размера.
- Доверительный интервал: диапазон правдоподобных значений эффекта.
- p-value: не вероятность истинности гипотезы и не размер эффекта.
Статистическая значимость не означает продуктовую значимость. Маленький эффект может быть невыгодным, а широкий интервал — не позволять принять решение.
- смотреть результаты ежедневно и остановиться на первом «успехе»;
- запускать десятки метрик без поправки на множественные проверки;
- менять аудиторию и критерий по ходу;
- игнорировать sample ratio mismatch;
- смешивать novelty effect с устойчивым поведением;
- считать отсутствие значимости доказательством отсутствия эффекта;
- не проверять корректность реализации.
Предположим, команда хочет отправлять новое вечернее напоминание пользователям, которые не прошли урок к 19:00. Простое сравнение получивших push с остальными будет смещено: в группу без сообщения попадут люди, уже занимавшиеся днём. Рандомизировать нужно среди пользователей, которые соответствуют одинаковому условию до назначения варианта.
Открытие push — диагностическая метрика, но не продуктовый результат. Главный вопрос состоит в том, увеличилось ли содержательное обучение и сохранился ли эффект после исчезновения новизны. Одновременно нужно следить за отключением уведомлений и удалением приложения.
В тест допускаются новые пользователи, завершившие хотя бы один урок, включившие уведомления и не прошедшие урок к 19:00 по местному времени. Control получает текущее нейтральное сообщение, treatment — сообщение, связанное с выбранной учебной целью.
- Сформулируйте причинную гипотезу и решение, которое примет команда.
- Определите eligibility, момент экспозиции, единицу рандомизации и единицу анализа.
- Выберите одну primary metric, 2–3 метрики механизма и минимум две guardrails.
- Дайте каждой метрике точное окно и формулу.
- Объясните минимально значимый эффект с продуктовой, а не статистической точки зрения.
- Перечислите исходные данные, необходимые для расчёта выборки и длительности.
- Опишите риски contamination, повторной экспозиции, novelty effect, часовых поясов и поломки трекинга.
- Заранее запишите решения при положительном, отрицательном и неопределённом результате.
- Объясните, почему открываемость push не должна быть единственной основной метрикой.
Карточка предрегистрации эксперимента на 1–2 страницы. Не придумывайте размер выборки без baseline, дисперсии, уровня ошибки и желаемой мощности.
Ты — экспериментатор и продуктовый аналитик. Попробуй «сломать» дизайн моего A/B-теста.
Проверь причинную гипотезу, eligibility, рандомизацию, экспозицию, contamination, определения метрик, минимально значимый эффект, длительность и правила решения. Отдельно укажи, каких данных не хватает для расчёта выборки. Не рассчитывай выборку на выдуманных значениях.
Верни: критические дефекты; значимые риски; улучшения; вопросы. Не переписывай весь дизайн. Покажи пример исправления только одного критического дефекта. Не интерпретируй p-value как вероятность истинности гипотезы.
Мой дизайн:
[вставить работу]