Как оценить, достаточна ли заданная глубина дерева в модели?

Оценка достаточности глубины дерева — это поиск баланса между недообучением и переобучением. Вот как я это делаю на практике, работая с sklearn.

1. Анализ кривых обучения (Learning Curves) Это мой основной инструмент. Я смотрю, как меняется ошибка на обучающей и валидационной выборках при увеличении глубины дерева (max_depth).

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import learning_curve
import numpy as np
import matplotlib.pyplot as plt

train_scores = []
val_scores = []
depth_range = range(1, 16)  # Проверяем глубину от 1 до 15

for depth in depth_range:
    model = DecisionTreeClassifier(max_depth=depth, random_state=42)
    # Простая кросс-валидация для оценки
    scores = cross_val_score(model, X_train, y_train, cv=5, scoring='accuracy')
    val_scores.append(scores.mean())

    # Оценка на тренировочных данных (для кривой обучения)
    model.fit(X_train, y_train)
    train_scores.append(model.score(X_train, y_train))

# Построение графика
plt.figure(figsize=(10, 6))
plt.plot(depth_range, train_scores, label='Train Accuracy', marker='o')
plt.plot(depth_range, val_scores, label='Validation Accuracy', marker='s')
plt.xlabel('Max Depth of Tree')
plt.ylabel('Accuracy')
plt.title('Learning Curves for Different Tree Depths')
plt.legend()
plt.grid(True, linestyle='--', alpha=0.7)
plt.show()

Интерпретация графика:

• Недостаточная глубина: Обе кривые (train и val) растут вместе. Увеличение глубины еще может улучшить модель.
• Оптимальная глубина: Кривая валидации достигает плато или максимума, в то время как кривая обучения продолжает расти (но медленнее). Дальнейшее увеличение глубины не дает прироста на новых данных.
• Избыточная глубина (переобучение): Кривая обучения достигает почти 100%, а кривая валидации начинает падать или значительно отставать. Это явный признак переобучения.

2. Проверка на отложенной (тестовой) выборке После выбора глубины по валидации обязательно проверяю финальное качество на тестовом наборе, который не участвовал в подборе гиперпараметров.

# Допустим, оптимальная глубина по графику = 7
final_model = DecisionTreeClassifier(max_depth=7, random_state=42)
final_model.fit(X_train, y_train)

test_accuracy = final_model.score(X_test, y_test)
print(f"Accuracy на тестовой выборке: {test_accuracy:.4f}")

3. Дополнительные методы для ансамблей (RandomForest, GBM) Для ансамблей важен не только max_depth, но и другие параметры, ограничивающие сложность (min_samples_leaf, min_samples_split).

• Я использую GridSearchCV или RandomizedSearchCV для совместного подбора этих параметров.
• Смотрю на OOB-оценку (Out-of-Bag) для RandomForest как на быстрый индикатор переобучения.

from sklearn.ensemble import RandomForestClassifier

# Если OOB-оценка значительно ниже accuracy на тренировочном наборе — признак переобучения.
model_rf = RandomForestClassifier(n_estimators=100, oob_score=True, random_state=42)
model_rf.fit(X_train, y_train)
print(f"OOB Score: {model_rf.oob_score_:.4f}")
print(f"Train Score: {model_rf.score(X_train, y_train):.4f}")

Практическое правило: Я начинаю с относительно небольшой глубины (3-5) и увеличиваю ее, пока не увижу, что прирост на валидации становится незначительным (менее 0.5-1%) или начинается спад. Для большинства бизнес-задач с табличными данных глубина 5-10 часто оказывается оптимальной.