Проверьте, отличается ли конверсия варианта B от контроля A по введенным данным эксперимента.
Калькулятор показывает ориентир по введенным данным, а не автоматическое решение о внедрении победителя.
A/B-тест – это сравнение двух вариантов страницы, продукта, письма, цены, оффера или интерфейса по выбранному целевому действию. Калькулятор полезен после завершения эксперимента, когда уже есть посетители и конверсии по варианту A и варианту B, а нужно предварительно оценить, насколько устойчива разница.
Расчет выполняется в браузере. Данные не сохраняются и не отправляются на сервер.
CR_A = Конверсии A / Посетители ACR_B = Конверсии B / Посетители BUplift = (CR_B − CR_A) / CR_A × 100%p_pool = (Конверсии A + Конверсии B) / (Посетители A + Посетители B)SE_pool = √(p_pool × (1 − p_pool) × (1/Посетители A + 1/Посетители B))Z = (CR_B − CR_A) / SE_poolp-value = 2 × (1 − Φ(|Z|))CI = (CR_B − CR_A) ± Z_critical × SE_diffКалькулятор сравнивает две доли: конверсию варианта A и конверсию варианта B. Он показывает предварительную статистическую оценку, но итоговое решение нужно принимать с учетом дизайна эксперимента, сегментов, длительности и бизнес-метрик.
Например, если вариант A получил 10 000 посетителей и 500 конверсий, его конверсия равна 5%. Если вариант B получил 10 000 посетителей и 580 конверсий, его конверсия равна 5,8%, а относительный uplift составляет 16%. После этого калькулятор проверяет, насколько устойчива такая разница по p-value и доверительному интервалу.
Если тест влияет не только на конверсию, но и на качество клиентов, средний чек, удержание, поддержку или возвраты, перед внедрением нужно проверить дополнительные guardrail metrics.
A/B-тест калькулятор помогает предварительно сравнить два варианта по конверсии. Он показывает, какой вариант лидирует, насколько отличается конверсия, каков uplift и выглядит ли разница устойчивой по выбранному уровню значимости.
p-value помогает оценить, насколько наблюдаемая разница могла появиться случайно в рамках выбранной статистической модели. Низкое p-value само по себе не гарантирует, что вариант будет лучше после внедрения, но помогает осторожнее интерпретировать результат.
Большой uplift выглядит привлекательно, но на малой выборке он может быть нестабильным. Важно смотреть не только относительный рост, но и количество посетителей, конверсий, p-value и доверительный интервал.
В начале эксперимента результаты могут сильно колебаться. Если часто смотреть на промежуточные данные и останавливать тест при первом хорошем результате, возрастает риск случайного вывода.
Один показатель конверсии по событию.
Сколько участников нужно до старта теста.
Доверительный интервал для одной доли.
Планирование мощности, длительности и MDE.
Развернутый разбор A/B-теста по конверсии.
Оценка эффекта фичи на ключевые метрики.
Выбор North Star Metric для продукта.
Калькулятор показывает предварительную оценку A/B-теста, но не проверяет весь дизайн эксперимента. Если результат спорный, выборка небольшая или бизнес-эффект важен, стоит отдельно разобрать гипотезу, сегменты, события аналитики, длительность теста и guardrail metrics.