Типичные ошибки при работе с Apache Kafka — Виктор Корейша

Доклад с митапа DevTalks. Инфраструктура и работа с данными: Kafka, архитектура S3 и обработка данных с Python (9 декабря 2023) Apache Kafka — это распределенный и хорошо масштабируемый лог сообщений с открытым исходным кодом, выдерживающий огромные нагрузки. В рамках доклада Виктор Корейша разобрал базовое устройство «Кафки», вспомнил основные понятия и термины, поговорил о том, как эффективнее взаимодействовать с кластером «Кафки», и разобрал 7 типовых ошибок при его использовании. Доклад будет полезен тем, кто уже работает с «Кафкой», но не погружался глубоко в принципы его работы. Ссылка на презентацию из доклада: https://drive.google.com/file/d/1APmf... Cайт митапа — https://devtalks.dev/infrastructure-k... Официальный канал митапа — https://t.me/+X4DZg7ma1DdlM2I6 Нанять команду Spectr — https://digital-spectr.ru/new-client Организаторы митапа: Spectr, Тэглайн. #devtalks #devtalks_russia #digital #tagline #тэглайн #spectr #digitalspectr #мероприятие #kafka #s3 #python #performance #highload #polars #development #meetup #dev 00:00 Начало, представление спикера 02:15 Что такое Apache Kafka? 05:22 Топики и партиции 07:17 Консьюмер-группы и оффсеты 11:21 Внутреннее устройство Apache Kafka 14:10 Ошибка: сообщения пропадают из топика 16:17 Retention Policy: ограничиваем сообщения по размеру 17:21 Retention Policy: ограничиваем сообщения по времени 17:59 Cleanup Policy 20:54 Почему чтение дольше записи? 24:05 Как обозначить сообщения в партиции как обработанные? 26:18 Как писать больше и быстрее? 32:01 Группа постоянно падает в ребаланс 37:04 Почему лучше делать по одной группе на каждый топик? 38:10 Почему retry topic далеко не всегда хороший план? 45:03 Вопросы из зала