Какие механизмы оповещения (alerting) ты настраивал при недоступности сервиса?

В DevOps-практике для мониторинга и оповещения о недоступности сервисов я настраиваю многоуровневую систему:

1. Мониторинг и алертинг (Prometheus + Alertmanager + Grafana)

   • Blackbox Exporter — для проверки доступности эндпоинтов (HTTP/HTTPS, TCP, ICMP) извне.
   • Правила в Prometheus генерируют алерты при недоступности (probe_success == 0) или высоком времени ответа.
   • Alertmanager маршрутизирует алерты по критичности: срочные — в Slack/Telegram, критические — в PagerDuty/OpsGenie для вызова дежурного.

   Пример правила Prometheus для HTTP-проверки:

   groups:
   - name: http_availability
     rules:
     - alert: ServiceDown
       expr: probe_success{job="blackbox"} == 0
       for: 1m
       labels:
         severity: critical
       annotations:
         summary: "Service {{ $labels.instance }} is down"

2. Логирование и трейсинг (ELK Stack / Loki + Tempo) Агрегация логов и трейсов помогает быстро диагностировать причину падения — ошибки базы данных, сетевые проблемы, исчерпание ресурсов.

3. Инфраструктурный мониторинг (Node Exporter, cAdvisor) Отслеживание метрик хостов и контейнеров (CPU, memory, disk I/O) для упреждающего выявления проблем, ведущих к недоступности.

Ключевой принцип — алерты должны быть действенными, релевантными и немноголюдными, чтобы не вызывать «усталость от оповещений».