Каков алгоритм действий при полном отказе сервера

При полном отказе сервера (server down) ключевую роль играют скорость реакции и системный подход. Алгоритм действий можно разделить на три фазы.

Фаза 1: Немедленные действия и верификация

1. Подтвердить отказ: Убедитесь, что проблема не на вашей стороне (например, локальные проблемы с сетью). Используйте внешние сервисы мониторинга (UptimeRobot, Pingdom) или проверьте доступ с другого устройства/сети.
2. Проверить систему мониторинга: Изучите дашборды (Grafana, Zabbix, Datadog) на предмет аномалий, предшествовавших падению: всплеск CPU, исчерпание памяти (OOM Killer), дискового пространства или сетевая атака.
3. Проверить статус провайдера: Если сервер находится в облаке (AWS, GCP, Azure), проверьте официальную страницу статуса сервисов провайдера на предмет глобальных сбоев.
4. Оповестить команду: Сообщите о проблеме ответственным лицам согласно внутреннему регламенту.

Фаза 2: Диагностика и восстановление

1. Попытка подключения: Попробуйте подключиться к серверу по SSH. Если неудачно, используйте аварийную консоль, предоставляемую хостинг-провайдером или гипервизором (VNC/KVM).
2. Анализ системных логов: После получения доступа немедленно проверьте ключевые логи:
   • dmesg: сообщения ядра, могут содержать информацию о сбоях оборудования или kernel panic.
   • journalctl -xe или /var/log/syslog / /var/log/messages: системные события, ошибки сервисов.
   • /var/log/auth.log: попытки входа, возможно, связанные с безопасностью.
3. Быстрое восстановление: Если причина неясна, а простой критичен, самым быстрым решением может быть перезагрузка сервера (reboot). Это временная мера, но она позволяет восстановить сервис и провести анализ в более спокойной обстановке.
4. Проверка ключевых сервисов: После перезагрузки убедитесь, что все необходимые службы (веб-сервер, база данных, кэш) запустились корректно (systemctl status <service_name>).

Фаза 3: Post-mortem анализ

После восстановления работоспособности необходимо провести анализ для предотвращения повторения инцидента:

• Определить корневую причину (RCA): Глубоко проанализировать логи и метрики, чтобы понять, что именно вызвало сбой.
• Задокументировать инцидент: Описать хронологию событий, предпринятые действия и результат.
• Разработать план действий: Создать задачи на улучшение мониторинга (добавить алерты), оптимизацию кода, увеличение ресурсов или настройку отказоустойчивости (например, high-availability кластер).