Приведите пример использования Apache Kafka для обработки потоковых данных.

Так, слушай, смотри, вот есть у тебя веб-приложение, да? И там пользователи, как обезьяны в зоопарке, тычутся во все кнопки: клик-клик, скролл-скролл, "добавить в корзину". И тебе, как главному смотрителю за этой мартышнячей, надо за каждым движением уследить, всё записать, проанализировать, а потом им же их же поведение и продать. Задача, блядь, нехилая.

И вот тут на сцену выходит Apache Kafka — это такая распределённая потоковая платформа, сука, монстр. Представь себе бесконечный конвейер, куда с одной стороны сыпятся события, а с другой — их тут же хватают и перерабатывают. И конвейер этот не ломается, даже если на него вылить овердохуища данных.

Почему эта штука — просто пиздец как хороша для такого?

• Масштабируется так, что мама не горюй. Миллионы событий в секунду? Да похуй, добавь ещё брокеров.
• Надёжная, как швейцарские часы. Данные на диск пишет, не потеряет, даже если полкластера накрылось медным тазом.
• Работает в реальном времени. Событие произошло — через долю секунды уже летит по трубам на обработку.
• Развязывает всё нахуй. Тот, кто генерирует события (продюсер), нихуя не знает о том, кто их потом жрёт (консьюмер). Хочешь добавить нового потребителя? Добавляй, не трогая старый код. Красота, ёпта!
• Порядок сообщений гарантирует в пределах одной партиции. То есть если события от одного пользователя идут в одну партицию — они и придут в том же порядке, в каком были отправлены. Не будет такого, что "логин" пришёл после "разлогина".

Смотри, как это выглядит в коде (Python с kafka-python):

from kafka import KafkaProducer, KafkaConsumer
import json
from datetime import datetime
import time

# --- Продюсер (тот, кто палит всех на действия) ---
# Шлёт события о том, что натворил пользователь, в топик 'user_actions'
producer = KafkaProducer(
    bootstrap_servers='localhost:9092', # Адрес нашего Кафка-брокера
    value_serializer=lambda v: json.dumps(v).encode('utf-8') # Превращаем словарь в JSON-строку, а потом в байты
)

def track_user_action(user_id: int, action: str):
    event = {
        'user_id': user_id,
        'action': action,
        'timestamp': datetime.now().isoformat()
    }
    producer.send('user_actions', event)
    print(f"Отправлено событие: {event}")

# --- Консьюмер (тот, кто подбирает всё это и разбирает) ---
# Читает события из топика 'user_actions' и делает с ними что надо
consumer = KafkaConsumer(
    'user_actions',
    bootstrap_servers='localhost:9092',
    auto_offset_reset='earliest', # Первый раз начнёт читать топик с самого начала
    enable_auto_commit=True,      # Автоматически отмечает "я это прочитал, давай дальше"
    group_id='analytics_group',   # Имя группы. Если запустишь несколько копий — они будут работать вместе
    value_deserializer=lambda m: json.loads(m.decode('utf-8')) # Из байтов и JSON-строки обратно в словарь
)

print("Consumer запущен, ожидание сообщений...")
for message in consumer:
    event_data = message.value
    print(f"Получено событие: {event_data} из топика {message.topic}, партиции {message.partition}, оффсет {message.offset}")
    # А вот тут уже твоя магия: сохранить в БД, посчитать статистику, отправить алерт
    # process_user_event(event_data)
    time.sleep(0.1) # Немного притормаживаем, чтобы не сожрать всё сразу

Что тут, блядь, происходит, если по-простому:

1. Продюсер — это стукач. Увидел, что пользователь 101 что-то сделал — сразу шлёт записку в центр (user_actions): "Такой-то, тогда-то, сделал эдакое".
2. Кафка — это этакий неубиваемый почтовый ящик-конвейер. Принял записку, положил в нужный отсек (партицию), хранит, пока не заберут.
3. Консьюмер — это уже аналитик, который сидит и выгребает эти записки из ящика. Вынул одну — обработал (например, в базу закинул). И так до бесконечности.

Вот и вся, блядь, магия. Система получается живучая, быстрая и расширяемая. Хочешь добавить ещё одного аналитика (консьюмера), который будет искать, например, подозрительную активность? Просто запусти ещё один скрипт с той же group_id — и он начнёт делить работу с первым. И ни один продюсер даже не узнает, что их теперь слушают два уха вместо одного. Ёперный театр, удобно же!