Калькулятор длительности A/B-теста
A/B нельзя останавливать 'когда стало похоже на победу'. Посчитайте честную длительность заранее: сколько дней нужно крутить тест при текущем трафике и ожидаемом эффекте.
Рекомендуется кратно неделям: не меньше 84 дн. для сглаживания дневной/недельной сезонности.
Тест получается длинным. Либо увеличивайте трафик/MDE, либо тестируйте более сильные гипотезы, либо запускайте серию более узких экспериментов.
- Всегда округляйте длительность вверх до полных недель: дневная и недельная сезонность сильно искажают результаты.
- Не запускайте тест меньше чем на 1-2 недели даже при идеальном трафике - поведение пользователей разное по дням.
- Если получается > 2 месяцев - пересмотрите гипотезу или объедините тесты, чтобы не упереться в seasonality drift.
- Если в тесте больше 2 вариантов, всегда учитывайте поправку на множественные сравнения (Bonferroni и т.п.).
PDF собирается в браузере - мы не сохраняем ваши данные. Письмо открывается в вашем почтовом клиенте - вы сами решаете, что отправить.
Performance ломается не только CPA: budget pacing и frequency часто объясняют провалы раньше отчёта по продажам.
Один победитель не живёт вечно. Планируйте ротацию до того, как CTR и CVR рухнут.
Лайки, клики и сохранения имеют разную ценность. Сравнивайте weighted-сигналы.
Иногда прирост посадочной дешевле покупки нового трафика в том же канале.