ArtBazyDiagnostics
Experiments / Planning

Калькулятор минимально определяемого эффекта (MDE)

Перед запуском теста полезно знать: какой минимальный прирост конверсии вы вообще сможете обнаружить. Если MDE 8%, а реальный эффект 3%, тест просто не зафиксирует победу - это сожжённое время и трафик.

Формула
MDE_abs ≈ (z_α/2 + z_β) × √(2·p·(1−p)/n), MDE_rel = MDE_abs / p
Главный результат
MDE (относительный)
19,9%

Тест увидит победу только если CVR вырастет с 3,2% до ≥ 3,84%.

Чувствительность низкая. Либо копите больше трафика, либо тестируйте более радикальные гипотезы, либо снижайте мощность.

Исходные данные

MDE абсолютный
0,64%
В процентных пунктах CVR.
Детектируемая CVR
3,84%
Минимальный CVR в варианте, который тест признает значимым.
z_α/2
1,96
Критическое значение по выбранному α.
z_β
0,842
Критическое значение по выбранной мощности.
Что делать дальше
  • Не тестируйте микро-изменения кнопок, если MDE > 10-15%: тест просто не увидит эффект.
  • Чтобы снизить MDE вдвое, выборку нужно увеличить примерно в 4 раза - это связь не линейная.
  • Если трафика мало, объединяйте слабые гипотезы в один сильный пересборный тест.
  • Для редких событий (покупка, оплата) лучше тестировать на верхней ступени воронки с большей базой.
Сохранить или обсудить

PDF собирается в браузере - мы не сохраняем ваши данные. Письмо открывается в вашем почтовом клиенте - вы сами решаете, что отправить.

Обсудить с экспертом
Следите за темпом

Performance ломается не только CPA: budget pacing и frequency часто объясняют провалы раньше отчёта по продажам.

Креатив - расходник

Один победитель не живёт вечно. Планируйте ротацию до того, как CTR и CVR рухнут.

Считайте качество

Лайки, клики и сохранения имеют разную ценность. Сравнивайте weighted-сигналы.

Улучшайте CVR

Иногда прирост посадочной дешевле покупки нового трафика в том же канале.

Связанные калькуляторы

A/B-тест: достоверность

Проверка значимости уже запущенного теста.

Открыть
Планировщик длительности A/B

Сколько дней нужно гонять тест.

Открыть
Landing CVR Uplift

Экономика прироста конверсии посадочной.

Открыть

Вопросы и ответы

Это минимальный эффект, который тест в принципе способен задетектить как статистически значимый при заданных условиях. Меньшие эффекты тест 'не заметит'.

P-value считается после теста. MDE говорит до запуска, имеет ли смысл вообще начинать с такой выборкой и гипотезой.

Для продуктовых A/B почти всегда двусторонний: вы хотите узнать и про рост, и про просадку.

Частично: повысить базовую CVR, снизить дисперсию (CUPED, стратификация), исключать ботов и outliers.