Как определишь качество работы модели целевых контактов

Качество модели целевых контактов оценивается по нескольким ключевым метрикам:

1. Precision (точность) — доля реально целевых клиентов среди тех, кого модель определила как целевых.
   Пример: Если из 100 контактов 80 действительно купили, precision = 80%.

2. Recall (полнота) — доль целевых клиентов, которых модель правильно идентифицировала.
   Пример: Если всего 200 целевых клиентов, а модель нашла 150, recall = 75%.

3. F1-score — гармоническое среднее precision и recall, балансирует оба показателя.

4. ROI (возврат инвестиций) — сравнение прибыли от таргетинга с затратами на контакты.

5. Lift — во сколько раз модель лучше случайного выбора (например, lift=2 означает, что модель в 2 раза эффективнее).

from sklearn.metrics import precision_score, recall_score, f1_score

y_true = [1, 0, 1, 1, 0]  # Фактические значения
y_pred = [1, 1, 1, 0, 0]  # Предсказания модели

precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)
f1 = f1_score(y_true, y_pred)

Дополнительно: анализ стабильности метрик на новых данных и бизнес-эффекта (рост конверсии, снижение затрат).