Зачем нужен блок серверов перед Elasticsearch?

Блок серверов (обычно балансировщики нагрузки, такие как Nginx, HAProxy или специализированные шлюзы) перед кластером Elasticsearch решает несколько критически важных задач в production-среде:

1. Распределение нагрузки (Load Balancing): Запросы распределяются между несколькими data-нодами Elasticsearch, что предотвращает перегрузку одной ноды и повышает общую пропускную способность и скорость отклика.
2. Отказоустойчивость (High Availability): Если одна из нод кластера выходит из строя, балансировщик автоматически перенаправляет трафик на живые ноды, обеспечивая бесперебойную работу сервиса для клиентов.
3. Единая точка входа (Single Entry Point): Клиентам (веб-приложениям, другим сервисам) не нужно знать внутреннюю структуру кластера. Они обращаются к одному домену или IP-адресу балансировщика.
4. Безопасность и контроль доступа: На балансировщике можно централизованно настроить:
   • Аутентификацию (Basic Auth, JWT).
   • Ограничение скорости запросов (rate limiting) для защиты от DDoS или ошибочных скриптов.
   • SSL/TLS терминацию.
   • Фильтрацию определенных типов запросов (например, блокировку опасных операций удаления).
5. Кеширование: Nginx может кешировать результаты часто выполняемых поисковых запросов (GET-запросы), значительно снижая нагрузку на Elasticsearch.

Пример конфигурации Nginx в качестве балансировщика для ES:

upstream elasticsearch_cluster {
    # Используем least_conn для балансировки по наименьшему количеству соединений
    least_conn;
    server es-node-01.internal:9200 max_fails=3 fail_timeout=30s;
    server es-node-02.internal:9200 max_fails=3 fail_timeout=30s;
    server es-node-03.internal:9200 max_fails=3 fail_timeout=30s;
}

server {
    listen 9200;
    server_name elasticsearch.example.com;

    # Базовые меры безопасности
    client_max_body_size 50M;

    location / {
        proxy_pass http://elasticsearch_cluster;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        # Rate limiting для POST/PUT запросов (индексация данных)
        limit_req zone=es_index burst=20 nodelay;
        limit_req_status 429;
    }
}