Ответ
Размер валидационной выборки (hold-out set) нелинейно зависит от общего объёма данных. Основной принцип: для маленьких датасетов нужна относительно большая доля для валидации, чтобы оценка была статистически значимой. Для больших датасетов абсолютного числа примеров в небольшой доле уже достаточно для надёжной оценки.
Эмпирические правила, которые я применяю на практике:
- Маленький датасет (< 10k примеров): 20-30% на валидацию. Часто вместо простого разбиения использую кросс-валидацию (CV), чтобы максимально использовать данные для обучения и получить устойчивую оценку.
- Средний датасет (10k — 1M примеров): 10-20%.
- Большой датасет (> 1M примеров): 1-5% часто достаточно, так как даже 1% от миллиона — это 10 000 примеров для оценки.
Пример кода с адаптивным разбиением:
from sklearn.model_selection import train_test_split
import numpy as np
# Допустим, у нас есть датасет X, y
n_samples = len(X)
# Определяем долю для валидации в зависимости от размера
if n_samples < 10000:
test_size = 0.25 # 25%
elif n_samples < 1000000:
test_size = 0.15 # 15%
else:
test_size = 0.05 # 5%
X_train, X_val, y_train, y_val = train_test_split(
X, y,
test_size=test_size,
random_state=42,
stratify=y # Стратификация для сохранения распределения классов
)
print(f"Размер обучающей выборки: {len(X_train)}")
print(f"Размер валидационной выборки: {len(X_val)}")Важно: Для крошечных датасетов (несколько сотен строк) стоит рассмотреть leave-one-out или k-fold CV с k близким к N.
Ответ 18+ 🔞
А, ну это ж классика, ёпта! Слушай, тут про размер валидационной выборки — вообще тема, которая у новичков мозг выносит. Думают, что всегда надо 20% отрезать и всё, а потом охуевают, когда на 500 строчках модель нихуя не учится, потому что ей на обучение 400 примеров оставили.
Вот смотри, главный принцип, который в голове держать надо: зависимость-то нелинейная, блядь. Нельзя тупо процент отпилить. Для маленьких датасетов тебе валидационная доля должна быть побольше, чтобы оценка хоть какое-то доверие вызывала, а не была как плевок в ветер. А для огромных — там и одного процента хватает за глаза, потому что это десятки тысяч примеров, ёбана!
Вот как я обычно на практике делаю, чтобы не облажаться:
- Датасет крошечный (меньше 10к строк): Отрезаю 20-30% на валидацию. А честнее говоря, часто даже не разбиваю, а кросс-валидацию (CV) запускаю. Это когда ты данные по кругу гоняешь, чтобы каждый кусочек и поучился, и проверился. Максимально выжимаешь из того дерьма, что есть. Доверия ебать ноль к простому разбиению на таких объёмах.
- Датасет средненький (от 10к до ляма): Тут уже 10-20% — самое то. Золотая середина.
- Датасет — овердохуища (больше миллиона): Да похуй, 1-5% хватит! Серьёзно. Один процент от миллиона — это десять тысяч примеров, чувак. Этого дохуя, чтобы понять, летит модель или нет.
Смотри, как это в коде выглядит, чтобы не быть распиздяем:
from sklearn.model_selection import train_test_split
import numpy as np
# Допустим, у нас есть датасет X, y
n_samples = len(X)
# Вот тут и решаем, какого хуя отрезать
if n_samples < 10000:
test_size = 0.25 # 25%
elif n_samples < 1000000:
test_size = 0.15 # 15%
else:
test_size = 0.05 # 5%
X_train, X_val, y_train, y_val = train_test_split(
X, y,
test_size=test_size,
random_state=42,
stratify=y # Эта штука стратификацию делает, чтобы распределение классов сохранилось. Не забывай, а то получишь хитрожопый сэмпл!
)
print(f"Размер обучающей выборки: {len(X_train)}")
print(f"Размер валидационной выборки: {len(X_val)}")Важный момент на посошок: Если датасет вообще мизерный, в несколько сотен строк — забудь про разбиение. Смотри в сторону leave-one-out или k-fold CV, где k почти равно N. Иначе терпения ноль ебать — будешь сидеть и гадать, почему метрики скачут как угорелые.