Как рассчитывается дисперсия для метрики конверсии нажатия на кнопку

«Как рассчитывается дисперсия для метрики конверсии нажатия на кнопку» — вопрос из категории Статистика и проверка гипотез, который задают на 38% собеседований Продуктовый Аналитик. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Дисперсия конверсии (доли успехов) рассчитывается по формуле для биномиального распределения:

Var(p) = p * (1 - p) / n

Где:

  • p — наблюдаемая конверсия (например, 0.05 для 5%)
  • n — количество наблюдений (например, 1000 показов кнопки)

Пример:
Если из 2000 показов кнопки было 100 кликов (p = 0.05), дисперсия:

p = 100 / 2000  # 0.05
variance = p * (1 - p) / 2000  # ≈ 0.00002375

Нюансы:

  • Формула предполагает независимость событий (каждое нажатие не влияет на другие).
  • Для малых n (<30) или крайних p (~0 или ~1) используйте поправки (например, Уилсона).