Что такое поток (stream) в Linux и как он используется в DevOps?

Поток (stream) в Linux — это абстракция для последовательного чтения или записи данных. В контексте DevOps это фундаментальная концепция для обработки логов, передачи данных между процессами (IPC) и построения конвейеров (pipelines).

Три стандартных потока:

1. stdin (0) — стандартный ввод: Источник данных для программы (например, ввод с клавиатуры или вывод другой команды через pipe |).
2. stdout (1) — стандартный вывод: Куда программа пишет свой основной результат.
3. stderr (2) — стандартный вывод ошибок: Куда программа пишет диагностические сообщения и ошибки, отдельно от основного вывода.

Практическое применение в DevOps:

1. Конвейеры (Pipes) для обработки логов в реальном времени:

# Мониторинг логов Nginx на наличие ошибок 5xx
tail -f /var/log/nginx/access.log | grep " 5[0-9][0-9] " | awk '{print $1, $9}' | tee /tmp/5xx_errors.log
# `tail -f` создает бесконечный поток логов, который передается по цепочке утилит.

2. Перенаправление потоков для логирования и отладки:

# Запуск скрипта, записывая stdout в файл, а stderr в другой файл и одновременно в терминал
./deploy_script.sh > deployment.log 2> >(tee -a deployment.error.log)

# Игнорировать stdout, но записать stderr в файл ошибок
make build > /dev/null 2> build_errors.log

3. Потоковая обработка данных (например, в CI/CD):

# Извлечь версию из package.json, увеличить патч и записать обратно (с помощью jq)
current_version=$(cat package.json | jq -r '.version')
new_version=$(echo $current_version | awk -F. '{$NF+=1; OFS="."; print $0}')
jq --arg v "$new_version" '.version = $v' package.json > tmp.json && mv tmp.json package.json
# Весь процесс происходит в памяти через потоки, без промежуточных файлов.

4. Создание именованных каналов (FIFO) для межпроцессного взаимодействия:

mkfifo /tmp/my_pipe
# Процесс 1 пишет в канал
echo "Data from process 1" > /tmp/my_pipe &
# Процесс 2 читает из канала
cat < /tmp/my_pipe

Ключевое преимущество: Потоки позволяют обрабатывать данные последовательно, без загрузки всего объема в оперативную память, что критически важно для работы с большими логами, дампами баз данных или сетевым трафиком. Это основа философии Unix "делай одну вещь и делай ее хорошо", соединяя маленькие утилиты в мощные конвейеры.