Какие выводы и уроки ты вынес, совершив ошибку в рабочем кейсе (проекте)?

На одном из проектов я допустил ошибку, которая привела к инциденту в продакшене: из-за недостаточной обработки сетевых сбоев, фоновый воркер падал и не перезапускался, что остановило обработку очереди сообщений.

Конкретные выводы и принятые меры:

1. Устойчивость к сбоям (Resilience): Я осознал критическую важность обработки всех возможных исключений, особенно в фоновых процессах и при взаимодействии с внешними API. Теперь явно обрабатываю таймауты, ошибки соединения и невалидные ответы.

   # Пример: обработка retry при временных сбоях внешнего сервиса
   from tenacity import retry, stop_after_attempt, wait_exponential
   
   @retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
   def call_external_api(data):
       response = requests.post(API_URL, json=data, timeout=5)
       response.raise_for_status()
       return response.json()

2. Мониторинг и алертинг: Инцидент показал, что простое логирование ошибок недостаточно. Я добавил метрики для мониторинга здоровья воркера (например, worker_queue_size, worker_processed_messages_total) и алерт на их критичные изменения в Prometheus/Grafana.

3. Автоматическое восстановление: Вместо ручного перезапуска, настроил для воркера супервизор (например, systemd или Kubernetes liveness/readiness probes), который автоматически перезапускает процесс при сбое.

4. Постмортем-культура: После инцидента мы провели разбор (postmortem) без поиска виноватых, зафиксировали root cause и action items. Это помогло не только исправить конкретную проблему, но и улучшить общие процессы в команде.

Главный урок: любая часть системы, которая может сломаться, — сломается. Код должен быть написан с учетом этого, а инфраструктура — обеспечивать автоматическое обнаружение и восстановление проблем.