Калькулятор peeking-риска A/B-теста
Если останавливать тест каждый раз, когда p-value случайно проваливается ниже 0.05, реальный шанс ложной победы становится сильно выше 5%. Этот калькулятор показывает, насколько именно.
Вы заявляли α = 5%, а по факту получаете до 40,1% ложных срабатываний.
Реальный риск ложной победы в разы выше заявленного. Используйте sequential testing (mSPRT, alpha-spending) или фиксируйте длительность заранее.
- Фиксируйте срок теста заранее (см. калькулятор длительности) и не останавливайте на первом 'p < 0.05'.
- Если бизнесу нужно подсматривать, используйте sequential-методы: mSPRT, alpha-spending, Bayesian bandits.
- Никогда не объявляйте победу по первому дню теста: это почти всегда шум.
- Считайте peeks по числу принятых решений, а не по числу заходов в дашборд.
PDF собирается в браузере - мы не сохраняем ваши данные. Письмо открывается в вашем почтовом клиенте - вы сами решаете, что отправить.
Performance ломается не только CPA: budget pacing и frequency часто объясняют провалы раньше отчёта по продажам.
Один победитель не живёт вечно. Планируйте ротацию до того, как CTR и CVR рухнут.
Лайки, клики и сохранения имеют разную ценность. Сравнивайте weighted-сигналы.
Иногда прирост посадочной дешевле покупки нового трафика в том же канале.