Основы Apache Kafka

Информационные системы в процессе своей работы порождают большое количество событий, которые могут быть связаны как с самой системой, так и с реализуемой предметной областью. Но созданные события нужно доставить до получателей - других компонентов информационной системы, и в этом случае на помощь приходят брокеры очередей сообщений и стриминговые системы. В этом ролике речь пойдёт о самой популярной системе стриминга событий - Apache Kafka и будут описаны следующие темы: Краткое описание стримов данных Терминология Kafka Локальный запуск Apache Kafka Использование утилит CLI для отправки и получения сообщений Отправка и получение сообщений в проекте на Java 00:00:00 Вступление 00:01:35 Про стримы данных 00:06:36 Терминология и теория Kafka 00:21:00 Установка и запуск Kafka 00:31:39 Отправка и получение сообщений в CLI 00:47:49 Создание отправителя в Java 00:55:21 Использование транзакций 01:02:55 Не идемпотентные отправители и подтверждение записи 01:06:12 Создание получателя в Java 01:08:28 Ручное назначение партиций получателю 01:11:14 Получение сообщений 01:16:57 Подписка на топик в группе получателей 01:25:00 Поиск смещения 01:39:55 Фиксация прочитанных смещений получателем 01:55:30 Про семантики доставки 02:01:35 Пример семантики Exactly Once 02:06:40 Выводы Связанные с роликом статьи: Про очереди сообщений: https://alexkosarev.name/2024/10/25/a... Начало работы с Kafka: https://alexkosarev.name/2024/10/31/k... Запуск Apache Kafka в кластере: https://alexkosarev.name/2024/11/04/k... Apache Kafka: партиции и реплики: https://alexkosarev.name/2024/11/08/k... Отправка сообщений в Kafka: https://alexkosarev.name/2024/12/03/k... Получение сообщений из Kafka: https://alexkosarev.name/2024/12/04/k... Канал в Telegram: https://t.me/+TZCuO38vG3oqu_Jq Поддержать проект: https://www.tinkoff.ru/cf/4PEOiVCZQuS