Message Broker 핵심 개념 총정리 | Redis, RabbitMQ, Celery

00:00 도입 — 이 강의에서 다룰 내용 00:45 동기 처리의 문제 (8초 대기) 01:17 인메모리 비동기의 한계 02:21 왜 Message Broker가 필요한가? 03:17 메시지 흐름과 핵심 용어 05:10 신뢰성 3요소 (ACK, 멱등성, Persistence) 06:59 실패 처리 — 재시도와 DLQ 07:40 Result Backend — 상태 관리와 TTL 10:32 결과 조회 패턴 — Polling, Callback, WebSocket 13:00 워크플로우 — Chain과 Chord 15:36 Redis vs RabbitMQ 한눈에 비교 17:54 RabbitMQ의 핵심 — Exchange 타입 비교 18:55 시나리오별 추천과 실무 조합 19:37 Redis 안정성 설정 20:33 의사결정 플로우차트 21:38 Kafka?? 22:09 전체 요약 및 마무리 ✅ 왜 Message Broker가 필요한가? • 동기 처리 8초 문제 → 비동기로 해결 • 인메모리 방식(asyncio, goroutine)의 4가지 한계 • 서버 재시작 → 유실, 서버 3대 → 분리 불가 ✅ Message Broker 핵심 개념 • Producer → Broker → Worker 흐름 • Queue 분리와 Exchange 라우팅 • ACK, 멱등성, Persistence — 신뢰성 3요소 • 재시도 + Exponential Backoff + DLQ ✅ Result Backend • Task 상태 관리 (PENDING → STARTED → SUCCESS/FAILURE) • AsyncResult로 상태 조회 (Polling 패턴) • TTL 설정 — 하루 100만 건이면 결과만 1GB • Chain(순차 실행)과 Chord(병렬 후 합치기) ✅ Redis vs RabbitMQ — 뭘 써야 하는가? • Redis: LPUSH/BRPOP으로 큐 구현, 빠르고 간편 • RabbitMQ: Exchange → Queue 전용 설계, ACK 기반 안전성 • 시나리오별 추천과 의사결정 플로우차트 • 실무 조합 3가지 (올인원 Redis / 안정성 분리 / 완전 분리) 🎯 이런 분들께 추천합니다: Celery를 처음 쓰는 Python 백엔드 개발자 "Redis랑 RabbitMQ 뭐가 다른 거야?" 궁금한 분 비동기 작업 처리 개념을 한번에 정리하고 싶은 분 Django/FastAPI 프로젝트에 비동기 작업을 도입하려는 팀 💡 이 영상의 코드는 Celery(Python)를 사용하지만, Producer, Broker, Worker, Queue 개념은 BullMQ(Node.js), Asynq(Go) 등 어떤 도구든 동일합니다. #MessageBroker #Celery #Redis #RabbitMQ #비동기처리 #ResultBackend #Python #Django #FastAPI #백엔드 #TaskQueue #분산시스템