В чём суть метода случайных подпространств (Random Subspace Method)?

Слушай, ну вот объясняю тебе про эту штуку, как будто на пальцах. Есть такой трюк — метод случайных подпространств. Суть проще пареной репы, но работает, ёпта, как швейцарские часы.

Представь, что у тебя куча признаков в данных — ну, там размер, цвет, вес, цена, ещё какая-нибудь хуйня. Овердохуища признаков, короче. И ты хочешь на этом всём натренировать не одну модель, а целую толпу, чтобы они потом, как умные дяди на совещании, голосовали и давали точный ответ.

Так вот, если каждую модель кормить всеми признаками сразу, они начнут думать одинаково и ошибаться в одном и том же месте. Это как если бы все эксперты читали одну и ту же газету — мнение было бы однообразное, и доверия к их вердикту, блядь, ноль.

А тут хитрость в чём? Берёшь каждую новую модель и говоришь: «Слушай, дружок, вот тебе не все признаки, а только случайная кучка из них. Разбирайся!» Например, из двадцати признаков ты даёшь ей только четыре — какие попадутся. Следующей модели — другую случайную четвёрку. И так сто раз.

Каждая модель, ебать мои старые костыли, видит данные под своим углом. Одна смотрит на размер и цвет, другая — на вес и цену. Ошибки у них становятся разными, не скоррелированными. А когда они потом голосуют за итоговый ответ, то эти ошибки как бы компенсируют друг друга. Ансамбль получается устойчивее, надёжнее, и переобучается он меньше — потому что каждая отдельная модель, по сути, ограничена в обзоре.

Как это выглядит в коде, если в лоб?

1. Было D признаков. Для каждой модели-участницы ты случайно выбираешь d штук (где d меньше D). Обычно берут корень из общего числа или логарифм — чтобы не переборщить.
2. Обучаешь модель только на этой выбранной подгруппе фич. Все строки данных (объекты) используются полностью, не трогаем.
3. Повторяешь это дело N раз, чтобы получить целую банду моделей.
4. Когда нужно новый объект классифицировать, каждая модель из банды даёт свой прогноз, глядя только на свои, отведённые ей, признаки. Потом устраиваете голосование — кто за «да», кто за «нет». Чьих больше, тот и победил.

В чём профит, спросишь?

• Переобучение снижается — потому что модели не могут сговориться, у каждой свой узкий кругозор.
• Устойчивость к мусорным признакам — если в данных есть шум, то какая-то модель на него наткнётся, но остальные-то нет, они голосовать будут по делу.
• Быстрее учится каждая отдельная модель — ей же меньше признаков обрабатывать.
• Идеально для задач, где признаков дохуя, а какие из них реально важные — хрен поймёшь. Метод сам выясняет, какие комбинации работают.

А где это уже используется? Да везде! Самый известный пример — Random Forest (Случайный Лес). Это, по сути, два в одном: там и объекты для каждого дерева берутся случайно (бутстрэп), и признаки выбираются случайно — это как раз и есть наш метод случайных подпространств. В RandomForestClassifier за это отвечает параметр max_features. Поставь его в 'sqrt', и для каждого дерева будет браться корень из общего числа признаков. Красота!

Вот тебе живой пример на Python:

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# Нагенерим данных, с прицепом признаков
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Создаём лес, где каждое дерево смотрит на случайную кучку признаков
model = RandomForestClassifier(
    n_estimators=100,           # Сто деревьев в лесу
    max_features='sqrt',        # Вот он, наш герой! Берём sqrt(20) ~ 4 случайных признака на дерево
    random_state=42,            # Чтобы воспроизвести можно было
    n_jobs=-1                   # Чтобы все ядра процессора в дело пустить
)
model.fit(X_train, y_train)

print(f"Точность на тесте: {model.score(X_test, y_test):.3f}")
print(f"Пример размера подпространства для одного дерева: {model.estimators_[0].n_features_in_}")

Чисто технически, в одиночку этот метод используют редко — ну, типа, «зачем изобретать велосипед, если есть готовый внедорожник?». Но как фундаментальная идея внутри мощных алгоритмов вроде Random Forest или ExtraTrees — она, блядь, гениальная в своей простоте. Работает — и ни хуя себе!