Какие знаешь метрики оценки классификаций

«Какие знаешь метрики оценки классификаций» — вопрос из категории Машинное обучение, который задают на 33% собеседований Аналитик Данных. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Accuracy — доля правильных предсказаний. Простая, но неэффективна при дисбалансе классов.
Precision — точность: TP / (TP + FP). Важна, когда ложные срабатывания дороги (например, спам).
Recall (полнота) — TP / (TP + FN). Критичен при пропуске позитивных случаев (медицина).
F1-score — гармоническое среднее precision и recall. Учитывает оба аспекта.
ROC-AUC — площадь под ROC-кривой. Оценивает качество разделения классов при любом пороге.
Log Loss — штрафует за уверенность в неверном предсказании. Чем меньше, тем лучше.

Пример расчёта в Python:

from sklearn.metrics import precision_score, recall_score, f1_score
y_true = [1, 0, 1, 1]
y_pred = [1, 0, 0, 1]
print(f"Precision: {precision_score(y_true, y_pred)}")  # 1.0
print(f"Recall: {recall_score(y_true, y_pred)}")        # 0.66