Что такое Apache ZooKeeper и для чего он используется?

«Что такое Apache ZooKeeper и для чего он используется?» — вопрос из категории Брокеры сообщений, который задают на 10% собеседований Java Разработчик. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Apache ZooKeeper — это централизованный сервис для распределённых систем, предоставляющий координацию и поддержку консенсуса. Он выступает как распределённое хранилище ключ-значение с гарантиями согласованности.

Основные абстракции и возможности:

  • Иерархическое пространство имён (ZNodes): Похоже на файловую систему, где каждый узел (ZNode) может хранить данные (до 1 МБ) и иметь дочерние узлы.
  • Гарантии:
    • Линейная запись (Sequential Consistency): Обновления применяются в порядке их отправки.
    • Атомарность: Обновление либо полностью успешно, либо полностью провалено.
    • Надёжность: После успешной записи данные сохраняются до перезаписи.
    • Своевременность (Timeliness): Клиент видит систему не слишком устаревшей.
  • Встроенные примитивы координации: Эпиhemeral узлы (исчезают при отключении клиента), Sequential узлы (с автоматической нумерацией), Watches (уведомления об изменениях).

Типичные сценарии использования:

  1. Управление конфигурацией: Централизованное хранение настроек для кластера.
  2. Обнаружение сервисов (Service Discovery): Эфемерные узлы регистрируют живые экземпляры сервисов.
  3. Выбор лидера (Leader Election): Используя эфемерные последовательные узлы.
  4. Распределённые блокировки и барьеры.
  5. Координация распределённых систем: Используется Kafka, Hadoop HDFS, Apache Storm и др.

Пример кода (Java-клиент) для создания эфемерного узла:

ZooKeeper zk = new ZooKeeper("localhost:2181", 3000, null);
// Создаём эфемерный узел. Он удалится при разрыве сессии.
String createdPath = zk.create("/service/instance-", 
                               "host:port".getBytes(),
                               ZooDefs.Ids.OPEN_ACL_UNSAFE,
                               CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println("Создан узел: " + createdPath);

Архитектура: ZooKeeper сам работает в виде кластера (ансамбля) из нечётного числа серверов (обычно 3, 5, 7), где один сервер является лидером, а остальные — последователями, обеспечивая отказоустойчивость.