Как организовать сбор и визуализацию метрик приложения с помощью Prometheus и Grafana?

Ответ

Процесс включает три основных этапа: инструментацию приложения, сбор метрик сервером Prometheus и их визуализацию в Grafana.

1. Инструментация приложения (Exposing Metrics)

Приложение должно предоставлять метрики по HTTP-эндпоинту (обычно /metrics) в формате, понятном Prometheus. Для этого используются клиентские библиотеки.

Пример на Python с prometheus_client:

from prometheus_client import start_http_server, Counter
import time
import random

# Создаем метрику типа Counter
REQUESTS = Counter('http_requests_total', 'Total HTTP requests processed', ['method', 'endpoint'])

def process_request(method, endpoint):
    # Инкрементируем счетчик с указанными лейблами
    REQUESTS.labels(method=method, endpoint=endpoint).inc()

if __name__ == '__main__':
    # Запускаем HTTP-сервер для отдачи метрик на порту 8000
    start_http_server(8000)
    print("Prometheus metrics available on http://localhost:8000")
    # Эмуляция работы приложения
    while True:
        process_request('GET', '/api/users')
        time.sleep(random.uniform(0.5, 1.5))
        process_request('POST', '/api/users')
        time.sleep(random.uniform(1, 2))

2. Сбор метрик (Prometheus)

Prometheus настраивается на периодический опрос (scrape) эндпоинта /metrics вашего приложения. Собранные данные сохраняются во внутреннюю time-series базу данных.

3. Визуализация и оповещения (Grafana)

Grafana подключается к Prometheus как к источнику данных (Data Source).
В Grafana создаются дашборды с графиками и панелями, которые запрашивают данные у Prometheus с помощью языка запросов PromQL (например, rate(http_requests_total[5m])).
Настраиваются правила оповещений (Alerting), которые при срабатывании (например, резкий рост ошибок) отправляют уведомления через Alertmanager в Slack, PagerDuty и т.д.