Как настроить индексацию логов веб-сервера (например, Nginx) для мониторинга?

Для эффективной индексации и анализа логов веб-сервера я использовал стек **EFK (Elasticsearch, Fluentd/Fluent Bit, Kibana)** или его вариацию **ELK (с Logstash)**. Вот типичный pipeline для Nginx. **Архитектура:** `Nginx Access/Error Logs` → `Fluent Bit (агент)` → `Kafka (буфер, опционально)` → `Fluentd (агрегатор)` → `Elasticsearch` → `Kibana (визуализация)`. **1. Конфигурация Fluent Bit для сбора логов (устанавливается на каждой ноде с Nginx):** ```ini # /etc/fluent-bit/fluent-bit.conf [SERVICE] Parsers_File /etc/fluent-bit/parsers.conf [INPUT] Name tail Path /var/log/nginx/access.log Parser nginx Tag nginx.access Mem_Buf_Limit 5MB [OUTPUT] Name forward Match * Host fluentd-aggregator.example.com Port 24224 ``` **2. Парсер для формата Nginx (parsers.conf):** ```ini [PARSER] Name nginx Format regex Regex ^(?[^ ]*) (?[^ ]*) (?[^ ]*) [(?[^]]*)] "(?S+)(?: +(?[^ ]*)s*HTTPS*)?" (?[^ ]*) (?[^ ]*)(?: "(?[^"]*)" "(?[^"]*)" "(?[^"]*)")?$ Time_Key time Time_Format %d/%b/%Y:%H:%M:%S %z ``` **3. Конфигурация Fluentd-агрегатора для обогащения и отправки в Elasticsearch:** ```xml # /etc/fluent/fluent.conf @type forward port 24224 bind 0.0.0.0 @type record_transformer hostname ${hostname} service_name nginx @type elasticsearch host es-cluster.example.com port 9200 logstash_format true logstash_prefix nginx-access # Управление жизненным циклом индексов (ILM) index_date_pattern "now/d" @type file path /var/log/fluentd/buffer/nginx flush_interval 5s ``` **4. В Elasticsearch настраивается Index Lifecycle Management (ILM) политика:** * **Hot phase:** Индексы последних 7 дней, высокая производительность. * **Delete phase:** Автоматическое удаление логов старше 30 дней. **5. В Kibana создаются дашборды** для мониторинга: количество запросов (по кодам ответа 2xx/4xx/5xx), топ медленных эндпоинтов (если лог включает `$request_time`), географическое распределение трафика (по полю `remote`). **Альтернативный легковесный стек:** Для менее ресурсоёмких решений можно использовать **Grafana Loki** (для хранения логов) и **Promtail** (для их сбора), с запросами через LogQL в Grafana.