Получалось ли заканчивать эксперимент раньше чем набралась выборка

Да, бывают случаи, когда эксперимент можно остановить досрочно. Это возможно при явных результатах (например, значимом ухудшении ключевых метрик) или при достижении статистической значимости до завершения сбора данных.

Пример с кодом для проверки значимости в Python:

from statsmodels.stats.proportion import proportions_ztest

# Предположим, на 50% данных уже видим конверсии:
converted = [1000, 1200]  # control, test
trials = [10000, 10000]

z_score, p_value = proportions_ztest(converted, trials)
if p_value < 0.05:  # значимый результат
    print("Можно остановить эксперимент")

Важно учитывать:

1. Риск ложноположительных результатов при множественных проверках
2. Возможные временные эффекты (например, выходные/будни)
3. Этические аспекты, если тест ухудшает UX