Что такое бустинг?

Бустинг — это ансамблевый метод, где модели (обычно неглубокие деревья решений) строятся последовательно. Каждая следующая модель обучается на ошибках предыдущих, что позволяет постепенно улучшать общий результат.

Ключевая идея: вместо независимого обучения множества моделей (как в бэггинге), бустинг целенаправленно исправляет остаточные ошибки.

Практический пример с Gradient Boosting:

from sklearn.ensemble import GradientBoostingRegressor
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split

# Генерация данных
X, y = make_regression(n_samples=1000, n_features=10, noise=0.1)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# Обучение модели бустинга
model = GradientBoostingRegressor(
    n_estimators=200,      # Количество деревьев (итераций бустинга)
    learning_rate=0.05,    # Темп обучения: вклад каждого дерева
    max_depth=3,           # Ограничение глубины для борьбы с переобучением
    subsample=0.8          # Stochastic boosting: обучение на подвыборке
)
model.fit(X_train, y_train)

# Анализ важности признаков
importances = model.feature_importances_

Основные алгоритмы и их особенности:

• AdaBoost: Назначает веса объектам, увеличивая вес для неправильно классифицированных.
• Gradient Boosting (GBM): Оптимизирует произвольную дифференцируемую функцию потерь с помощью градиентного спуска.
• XGBoost/LightGBM/CatBoost: Современные, высокооптимизированные реализации с поддержкой регуляризации, пропущенных значений и категориальных признаков.

На что обращаю внимание при работе:

1. Контроль переобучения: через learning_rate, max_depth, subsample и регуляризацию.
2. Ранняя остановка (early stopping): обучение останавливается, если качество на валидационной выборке перестает улучшаться.
3. Интерпретируемость: анализ важности признаков (feature_importances_) для понимания модели.