# Конверсия выросла. Можно запускать?

Учебный кейс Натальи Ветошкиной. Все данные синтетические.

Сохраните data.json, stats.mjs, verify.mjs и README.md вместе. Выполните `node verify.mjs` (Node.js 18+). Страница использует тот же модуль stats.mjs.

Исходный тест: A — 493 покупателя / 9847 пользователей; B — 554 / 9913. Пользователи с ошибкой оплаты: 103 и 179 соответственно. Рост конверсии около 0.0058202 = 0.58202 процентного пункта = 11.625% относительно A. Двусторонний z-тест с объединённой долей, alpha=0.05. 95% интервал Вальда использует необъединённую дисперсию. Нормальная CDF вычисляется полиномиальным приближением.

Предпосылки: независимые группы пользователей, случайное назначение с вероятностью 1:1; фактические группы 9847 и 9913, фиксированный горизонт 14 полных дней, зрелые данные. Успех — минимум одна покупка в окне; ошибка — минимум одна ошибка оплаты; один пользователь может входить в обе категории. Предпосылки заданы условием, по логам не проверены.

Правило: наблюдаемый рост ошибок более 0.003 блокирует запуск. Это операционное ограничение, не статистический тест неухудшения. Ровно 0.003 порог не нарушает (в вычислении допуск 1e-12). Положительная значимая основная метрика вместе с соблюдением ограничения означает кандидата на запуск, но не подтверждение безопасности или прибыльности.

Сценарии меняют гипотетические исходы при неизменных правилах; они не означают продление теста, редактирование его результатов или планируемый эффект исправления. Необходимо отдельно проверить качество назначения, телеметрию, стоимость и долгосрочные эффекты. Размер выборки в условии не заменяет планирования мощности и MDE.

Материалы:
- https://www.itl.nist.gov/div898/software/dataplot/refman2/auxillar/diffprop.htm
- https://www.microsoft.com/en-us/research/?p=720145

Проверено 28 сентября 2026.