Какие A/B-тесты проводил

«Какие A/B-тесты проводил» — вопрос из категории A/B тестирование и проверка гипотез, который задают на 33% собеседований Аналитик Данных. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Проводил A/B-тесты для оптимизации UX и бизнес-метрик:

  • CTR на кнопках (цвет, текст, расположение). Пример: изменение CTA с «Купить» на «Добавить в корзину» дало +15% конверсии.
  • Ценовые стратегии (скидки, бесплатная доставка). Тестировали скидку 10% vs бесплатную доставку — последняя увеличила средний чек на 20%.
  • Лендинги (разные hero-секции). Вариант с видео вместо статичного изображения снизил bounce rate на 25%.

Пример кода (Python):

import scipy.stats as stats

# Данные групп A и B
group_a = [120, 135, 110, ...]  # Конверсии группы A
group_b = [150, 140, 130, ...]  # Конверсии группы B

# T-тест для независимых выборок
t_stat, p_value = stats.ttest_ind(group_a, group_b)
print(f"P-value: {p_value:.4f}")  # Если p-value < 0.05 — разница значима

Всегда проверял статистическую значимость (p-value < 0.05) и мощность теста (≥80%).