Ответ
Для анализа значимости выборки сначала определяю её репрезентативность — соответствует ли она генеральной совокупности. Затем проверяю размер выборки: для количественных данных обычно требуется минимум 30 наблюдений (ЦПТ), для качественных — рассчитываю через мощность теста.
Использую p-value (вероятность получить такие результаты при нулевой гипотезе) и доверительные интервалы. Пример проверки гипотезы в Python:
from scipy import stats
import numpy as np
sample = np.random.normal(loc=5, scale=2, size=100) # Пример выборки
t_stat, p_val = stats.ttest_1samp(sample, popmean=4.5) # Сравнение с гипотетическим средним
print(f"p-value: {p_val:.3f}") # Если p < 0.05, выборка значимо отличаетсяДополнительно оцениваю эффект (например, Cohen’s d) и учитываю потенциальные смещения (selection bias, missing data). Для A/B-тестов важен расчет мощности (1−β) и MDE (минимальный детектируемый эффект).