Какие инструменты ты использовал для работы с Apache Kafka?

Для работы с Apache Kafka я применял следующие инструменты, разделённые по категориям:

1. CLI (Командная строка) и Утилиты

• kafka-topics.sh / kafka-console-producer.sh / kafka-console-consumer.sh (входят в поставку Kafka) – для базовых операций с топиками, производства и потребления сообщений.

  # Создать топик
  kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092
  # Отправить сообщение
  echo "Hello, Kafka!" | kafka-console-producer.sh --topic test-topic --broker-list localhost:9092

• Kafkacat – мощная консольная утилита для быстрой отладки и скриптинга.

  # Просмотр сообщений в реальном времени
  kafkacat -b localhost:9092 -t test-topic -C -o beginning

2. GUI (Графический интерфейс)

• Kafka Tool (Offset Explorer) – для визуального мониторинга кластера, просмотра сообщений, проверки смещений (offsets) и партиций.
• UI for Apache Kafka – лёгкий веб-интерфейс для администрирования.

3. Программные клиенты (для автоматизации тестов)

• Java (KafkaProducer / KafkaConsumer) – для написания интеграционных и нагрузочных тестов.

  Properties props = new Properties();
  props.put("bootstrap.servers", "localhost:9092");
  props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
  KafkaProducer<String, String> producer = new KafkaProducer<>(props);
  producer.send(new ProducerRecord<>("test-topic", "key", "value"));

• Python (confluent-kafka-python) – для скриптов мониторинга или прототипирования.

  from confluent_kafka import Producer
  p = Producer({'bootstrap.servers': 'localhost:9092'})
  p.produce('test-topic', key='test-key', value='test-message')
  p.flush()

4. Фреймворки для тестирования

• Testcontainers – для поднятия изолированного Kafka-контейнера в юнит-тестах.
• @EmbeddedKafka (Spring Boot) – для встроенного Kafka в тестовом окружении.

Выбор инструмента зависит от задачи: CLI – для администрирования, GUI – для разведки, программные клиенты – для автоматизации.