Какая была самая интересная задача?

На моем последнем проекте самой интересной была разработка системы автоматического масштабирования для микросервисов в Kubernetes, основанного не только на стандартных метриках (CPU/RAM), но и на бизнес-логике, такой как длина очереди сообщений.

Что я сделал:

1. Написал кастомный Prometheus exporter на Python, который собирал бизнес-метрики (например, время обработки заказа и backlog очереди в RabbitMQ).
2. Интегрировал эти метрики с KEDA (Kubernetes Event-driven Autoscaler) для управления горизонтальным автомасштабированием подов (HPA).
3. Реализовал простую логику прогнозирования на основе исторических данных, чтобы предварительно масштабировать сервис перед ожидаемым всплеском нагрузки.

# Пример ScaledObject для KEDA, использующего кастомную метрику
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: order-service-scaler
spec:
  scaleTargetRef:
    name: order-service
  triggers:
  - type: prometheus
    metadata:
      serverAddress: http://prometheus-server.monitoring.svc.cluster.local:9090
      metricName: business_queue_backlog_seconds
      threshold: "30"
      query: avg(rabbitmq_queue_message_ready{queue="orders"}) / avg(rate(order_processing_duration_seconds_sum[5m]))

Основная сложность заключалась в настройке правильного порога срабатывания, чтобы система была отзывчивой, но не «дерганой». В результате мы сократили 95-й перцентиль задержки обработки на 40%, оптимизировав использование облачных ресурсов и избежав переплат.