Расскажи про свой опыт работы с Linux

Question

Расскажи про свой опыт работы с Linux

Тип вопроса: DevOps и инфраструктура Вероятность: 33% Категория: Data Инженер

Ответ

Я активно работаю с Linux-серверами (в основном Ubuntu и Amazon Linux) как средами для развертывания и эксплуатации data-пайплайнов и приложений.

Основные направления работы:

Администрирование и мониторинг:
- Установка, настройка и обновление ПО (Java, Python, Docker, агенты мониторинга).
- Мониторинг ресурсов: использовал htop, iostat, netstat для диагностики. Настраивал алерты в CloudWatch и Prometheus на высокую загрузку CPU, память или дисковое пространство.
- Работа с журналами: journalctl для systemd-сервисов, tail -f, grep и awk для анализа логов приложений, настройка ротации логов через logrotate.
Автоматизация и скрипты: Писал bash-скрипты для рутинных операций: деплой, резервное копирование, очистка временных файлов.
```
#!/bin/bash
# Скрипт для очистки старых логов Spark с EC2-инстансов
LOG_DIR="/var/log/spark/apps"
RETENTION_DAYS=14
find "$LOG_DIR" -name "*.log" -type f -mtime +$RETENTION_DAYS -delete
echo "$(date): Очистка логов старше $RETENTION_DAYS дней выполнена" >> /var/log/cleanup.log
```
- Настраивал cron-задачи для запуска ETL-скриптов и периодических проверок.
Сетевая настройка и безопасность:
- Настройка SSH-доступа с ключами, использование ssh-agent.
- Конфигурация firewall (ufw или security groups в AWS).
- Управление правами файлов и пользователей (chmod, chown, sudo).
Работа в облаке (AWS EC2):
- Запуск и управление инстансами через AWS CLI.
- Подключение EBS-томов, работа с сетевыми файловыми системами (EFS).
- Сбор метрик с инстансов через CloudWatch Agent.
Контейнеризация: Использовал Docker для изоляции окружений приложений (например, для Airflow или JupyterHub). Писал Dockerfile, управлял контейнерами через docker-compose в dev-среде.

Этот опыт позволяет мне самостоятельно развертывать и поддерживать инфраструктуру для data-сервисов, быстро диагностировать проблемы на сервере и эффективно взаимодействовать с DevOps-инженерами.

Ответ 18+ 🔞

А, так вот ты какой, Linux-админ! Ну рассказывай, как ты там в консоли корячишься. Я, блядь, слушаю и сам от себя охуеваю — прям целый спектакль разворачиваешь, ёперный театр!

Так, по пунктам, давай разберём эту твою песню.

Первое, администрирование. Ну, классика жанра. Сидишь, значит, перед htop, а там процессы как тараканы бегают, память жрут, как не в себя. И ты такой: «Э, бошка, думай! Кто тут у нас CPU на 150% гонит? А, это опять этот питон-скрипт, пизда рулю!» Настроил алерты в CloudWatch — сидишь, бздишь, как бы чего не накрылось медным тазом. Терпения, блядь, ноль, когда в три ночи смс прилетает: «Диск заполнен на 95%». Волнение, ёбаное, чувствую, сразу. Бежишь, чистишь логи, которые logrotate проебал.

Второе, скрипты. О, это святое! Ты ж не будешь каждый раз руками это делать. Сидишь, пишешь bash, а он тебя, сука, постоянно посылает: «syntax error near unexpected token». Чих-пых тебя в сраку! Но когда заработает — красота. Вот как твой пример:

#!/bin/bash
LOG_DIR="/var/log/spark/apps"
RETENTION_DAYS=14
find "$LOG_DIR" -name "*.log" -type f -mtime +$RETENTION_DAYS -delete
echo "$(date): Очистка логов старше $RETENTION_DAYS дней выполнена" >> /var/log/cleanup.log

Просто, а работает. Главное в cron не наебнуться с расписанием, а то будет тебе хиросима и нагасаки, когда всё в три часа нотификаций запустится.

Третье, безопасность. Тут, чувак, доверия — ебать ноль. Кто угодно может налететь. Настроил ufw, ключи SSH, и всё равно подозрение ёбаное чувствую: «А не лезет ли ко мне какой пидарас шерстяной?» netstat смотришь — ага, соединение откуда-то из экваториальной Африки. «Ну пошёл ты на хуй», — думаешь и сразу правило добавляешь.

Четвёртое, облака. AWS — это отдельная песня. Запустил инстанс, а он тебе за час овердохуища денег сожрал, потому что тип самый мощный взял по ошибке. Ядрёна вошь! Бежишь выключать. EBS том примонтировал, а он не виден. Сидишь, гуглишь: «lsblk не показывает диск». Оказывается, надо fdisk сделать. Э, сабака, сука!

Пятое, докер. Ну тут вообще весело. Написал Dockerfile, собрал образ, запустил — а он падает с ошибкой на первой же строке. «Какого хуя?» Открываешь логи — «file not found». А потому что пути кривые, мудя! Потом с docker-compose танцы с бубном: один контейнер стартует, а второй нет, потому что первый ещё не готов. Удивление — пиздец!

Короче, опыт, конечно, охуенный. Сам всё поднял, сам сломал, сам починил. С DevOps-инженерами теперь на одном языке говоришь, они тебя за своего считают. Главное — не бояться, когда всё горит, и помнить, что rm -rf / — это не решение, а начало очень интересного квеста.