태그: Kafka
7편
-
Redpanda: JVM 없는 Kafka 호환 스트리밍, rpk CLI, 스키마 레지스트리, Tiered Storage, 마이그레이션
JVM·ZooKeeper 없이 C++로 구현된 Kafka 호환 브로커 Redpanda를 Docker·Helm으로 띄우고 rpk로 운영하는 법을 다룹니다. 스키마 레지스트리, Tiered Storage, MirrorMaker 2 마이그레이션과 장애 대응도 설명합니다.
-
Kafka Streams로 실시간 처리하기: KStream·KTable, 상태 저장소, 윈도우 집계, 조인, EOS
Apache Kafka Streams는 별도의 스트림 처리 클러스터 없이, Kafka 클러스터와 애플리케이션 프로세스만으로 이벤트 스트림을 변환·집계·조인할 수 있게 하는 자바·스칼라 라이브러리입니다.
-
Kafka 입문: Topic과 Partition, Node.js Producer·Consumer, Consumer Group, 주문 처리 예제
Apache Kafka로 이벤트 스트리밍을 구축하는 방법. 설치, Node.js 클라이언트로 Producer·Consumer 작성, Topic·Partition·Replication, Consumer Group, 주문 처리 시스템 예제와 에러 처리를 정리합니다.
-
RabbitMQ·Redis 큐 vs Kafka vs NATS: 메시징 시스템별 철학과 선택 기준
RabbitMQ·Redis 큐, Kafka, NATS가 메시지를 다루는 방식의 차이를 비교하고, ack 전에 컨슈머가 죽거나 offset 커밋 순서가 틀려 메시지가 중복·유실되는 상황을 at-least-once 전달과 멱등 처리로 막는 방법을 Python 예제로 설명합니다.
-
C++에서 Kafka 쓰기: librdkafka 프로듀서·컨슈머 그룹, 오프셋 관리, 리밸런싱과 메시지 유실
C++에서 Apache Kafka 연동. librdkafka로 프로듀서와 컨슈머 그룹 구현, 오프셋 관리, 연결 타임아웃·메시지 유실·리밸런싱 같은 흔한 문제 해결, 배치·압축 성능 최적화를 다룹니다.
-
C++ Kafka 고급 활용 | librdkafka·Exactly-Once Semantics (EOS)·트랜잭션·스트림 처리
librdkafka로 C++ 스트림 파이프라인을 만들 때 메시지를 중복·유실 없이 처리하는 방법을 다룹니다. 멱등 프로듀서, 트랜잭션 API와 read_committed 컨슈머, 리밸런스 뒤 중복 처리, Queue full·Not leader 같은 에러 대응을 예제로 설명합니다.
-
C++에서 RabbitMQ·Kafka 연동하기: 메시지 큐 기반 비동기 처리 구현과 에러 대응
주문 처리처럼 결제·재고·메일을 동기로 묶어 느려진 서비스를 RabbitMQ와 Kafka 프로듀서·컨슈머로 나누는 C++ 코드를 보여줍니다. 두 브로커의 선택 기준, ACK 전 크래시로 인한 메시지 유실, 리밸런스 중 오프셋 커밋 실패 대응도 담았습니다.