Опишите самую сложную техническую задачу в вашем опыте

Задача: Разработка и оптимизация системы обработки потоковых данных с требованием высокой пропускной способности (>100K событий/сек) и низкой задержки (<100 мс).

Проблемы:

1. Потеря данных при пиковых нагрузках.
2. Обеспечение отказоустойчивости и обработки дубликатов.
3. Балансировка между latency и throughput.

Решение и стек технологий:

1. Буферизация и надежная доставка: Apache Kafka как durable message broker. Позволяет накапливать события и обеспечивает at-least-once доставку.
2. Многопоточный потребитель: Spring Boot приложение с @KafkaListener и batch-обработкой.
3. Оптимизация записи: Пакетная (batch) вставка в колоночную СУБД ClickHouse для аналитики.

Ключевой фрагмент логики потребителя:

@Component
public class EventProcessor {
    @KafkaListener(topics = "events", concurrency = "3")
    public void handleEvents(List<ConsumerRecord<String, Event>> records) {
        // Параллельная обработка батча
        List<EnrichedEvent> enriched = records.parallelStream()
            .map(ConsumerRecord::value)
            .map(this::enrichWithExternalData) // Обогащение
            .collect(Collectors.toList());

        // Пакетная отправка в хранилище
        storageService.saveBatch(enriched);
    }
}

Почему такое решение?

• Kafka абсорбирует пики нагрузки.
• Batch-обработка уменьшает накладные расходы на вставку в БД.
• Параллельный стрим внутри одного потребителя ускоряет обогащение данных.

Результат: Система стабильно обрабатывает 150K событий/сек с 95-м процентилем задержки <100 мс. Были внедрены мониторинг (метрики потребления/лаг) и механизм повторной обработки (dead-letter queue).