Калькулятор поправки для мультивариантного A/B
Чем больше вариантов в тесте - тем выше шанс случайно найти 'победителя' там, где его нет. Поправка Bonferroni - самый простой способ контролировать это, ценой роста выборки.
Без поправки familywise-риск ложного срабатывания ≈ 14,3% при 3 сравнениях.
Поправка умеренная: проще принять её и спать спокойно, чем потом разбирать ложного 'победителя'.
- Не запускайте 5+ вариантов 'на всякий случай': это почти всегда означает раздутую выборку или скрытое peeking.
- Bonferroni - консервативная поправка. Если она 'убивает' тест, можно перейти к Holm-Bonferroni или контролю FDR.
- Если гипотезы независимые и слабые - лучше разбить на серию последовательных A/B, чем один большой мульти-тест.
- Для real-world продукта гораздо важнее снизить число вариантов, чем выбрать модную поправку.
PDF собирается в браузере - мы не сохраняем ваши данные. Письмо открывается в вашем почтовом клиенте - вы сами решаете, что отправить.
Performance ломается не только CPA: budget pacing и frequency часто объясняют провалы раньше отчёта по продажам.
Один победитель не живёт вечно. Планируйте ротацию до того, как CTR и CVR рухнут.
Лайки, клики и сохранения имеют разную ценность. Сравнивайте weighted-сигналы.
Иногда прирост посадочной дешевле покупки нового трафика в том же канале.