#architecture
12개의 글이 있습니다.
Rednote는 왜 Kafka를 Fluss로 바꿨나: 실시간 인덱싱 전환에서 얻은 교훈
Rednote의 핵심 실시간 인덱싱 경로에서 Kafka가 만든 읽기 증폭과 과거 데이터 재처리 병목, Fluss 전환 구조와 성과, 다른 파이프라인에 적용할 조건을 정리합니다.
Apache Fluss란: Kafka·Flink·Iceberg 사이의 스트리밍 레이크하우스
Apache Fluss를 Kafka·Flink·Iceberg와 역할별로 비교합니다. Log Table·Primary Key Table·통합 메타데이터로 실시간 스트림과 레이크하우스를 연결하는 방식을 정리합니다.
Kafka 트랜잭션은 왜 DB를 묶지 못할까: KIP-939가 여는 2PC 참여
Kafka 트랜잭션이 지금 묶을 수 있는 작업과 DB·외부 시스템이 남는 이유를 짚고, KIP-939가 Kafka를 외부 2PC 참여자로 만들려는 방식을 정리합니다.
Active-Active DR은 Failover로 끝나지 않는다: 복구 검증, 데이터 조정, Failback
Active-Active DR에서 장애 전환 뒤 복구 기준점을 확정하고, 데이터 불일치를 조정하며, 안전하게 Failback하기 위한 운영 절차와 검증 기준을 설명합니다.
멀티 리전 서비스의 Home Region 쓰기: DB와 Kafka의 소유권을 함께 지키는 방법
멀티 리전 서비스에서 Home Region을 판정하고, 원격 쓰기 전달부터 DB 트랜잭션, Outbox, Kafka, epoch fencing, 소유권 이전까지 일관된 쓰기 경로를 설계하는 방법을 설명합니다.
Kafka Active-Active의 핵심은 Kafka가 아니라 쓰기 소유권이다
Kafka 기반 Active-Active DR 아키텍처에서 Kafka가 해결하는 문제와 애플리케이션이 직접 책임져야 하는 쓰기 소유권, Outbox, Inbox, 장애 전환 전략을 정리합니다.
Kafka 4.0 컨슈머 리밸런싱: 이제 조율은 브로커가 한다
Apache Kafka 4.0에서 GA가 된 새 리밸런싱 프로토콜을 정리합니다. 기존 프로토콜과 무엇이 다르고, 브로커 측 할당과 점진적 리밸런싱이 운영에 어떤 의미를 갖는지 다룹니다.
Kafka Streams와 EIP Aggregator: 모으는 것보다 끝내는 것이 어렵다
EIP Aggregator 패턴을 Kafka Streams로 구현할 때 중요한 것은 groupBy와 aggregate가 아니라 correlation key, state store, completion condition, late event 처리입니다.
Kafka는 왜 Outbox와 Inbox 사이에 잘 맞을까
MSA 비동기 호출에서 Outbox와 Inbox 패턴이 필요한 이유와, Kafka가 이 패턴의 메시지 경로로 잘 맞는 이유를 정리합니다.
Kafka가 잘하는 대용량과 보내면 안 되는 대용량
Kafka는 대용량 이벤트 스트림에 강하지만 대용량 파일 전송 채널로 쓰면 시스템 전체의 storage amplification이 커지는 이유를 정리합니다.
Kafka의 디스크는 어디로 가고 있나: 객체 스토리지로 옮겨지는 스트리밍 저장소
WarpStream, AutoMQ, Apache Fluss, Kafka Diskless Topics를 통해 Kafka 생태계가 브로커 로컬 디스크를 벗어나 객체 스토리지를 바라보는 이유와 차이를 정리합니다.
AI 애플리케이션에서 Redis가 맡는 다섯 가지 역할
AX 시대의 AI 애플리케이션에서 Redis가 캐시, 세션 상태, 검색 보조, 비동기 작업, 운영 제어 계층으로 쓰이는 방식을 정리합니다.