#streaming
7개의 글이 있습니다.
Rednote는 왜 Kafka를 Fluss로 바꿨나: 실시간 인덱싱 전환에서 얻은 교훈
Rednote의 핵심 실시간 인덱싱 경로에서 Kafka가 만든 읽기 증폭과 과거 데이터 재처리 병목, Fluss 전환 구조와 성과, 다른 파이프라인에 적용할 조건을 정리합니다.
apache-flusskafkarednotereal-time-indexingarchitecturestreaming
늦게 온 이벤트가 최신 상태를 덮어쓰지 않게: Fluss Versioned Merge Engine
재시도와 지연 도착으로 과거 이벤트가 최신 상태를 덮는 문제를 Apache Fluss Versioned Merge Engine으로 막는 방법을 Flink SQL 예제와 함께 설명합니다.
apache-flussflinkstreamingdata-consistencyevent-processing
센서 이벤트에 빠진 현재 상태를 붙이는 방법: fluss-go 데이터 보강
fluss-go beta.10으로 센서 메타데이터 Primary Key Table과 측정값 Log Table을 만들고, 이벤트를 스캔하며 현재 상태를 조회해 결합합니다.
apache-flussgostreamingclient-librarydata-enrichment
Connection은 하나, Table은 스레드마다: Apache Fluss Java Client 실습
Flink Quickstart의 Primary Key Table과 Log Table을 Apache Fluss 0.9.1 Java Client로 읽고 쓰며 객체 수명 주기를 정리합니다.
apache-flussjavaquickstartstreaming
Apache Fluss 첫 실행: Flink Quickstart에서 확인할 것들
Apache Fluss를 로컬 실습 환경에서 Flink와 연결하고, Flink SQL로 카탈로그·테이블 모델·기본 키 조회와 갱신을 확인합니다.
apache-flussflinkdockerquickstartstreaming
Apache Fluss란: Kafka·Flink·Iceberg 사이의 스트리밍 레이크하우스
Apache Fluss를 Kafka·Flink·Iceberg와 역할별로 비교합니다. Log Table·Primary Key Table·통합 메타데이터로 실시간 스트림과 레이크하우스를 연결하는 방식을 정리합니다.
apache-flusslakehousestreamingflinkarchitecture
수정하지 않을 YAML 로그를 왜 전부 객체로 만들까
초당 수십/수백 건의 YAML 로그를 선별하던 경험을 바탕으로, 로그처럼 immutable한 데이터를 처리할 때 DOM/object tree 대신 stream/event 기반 처리를 고려해야 하는 이유를 정리합니다.
yamlloggingperformancestreamingoperations