#storage
5개의 글이 있습니다.
Kafka partition은 괜찮다는데 디스크가 없다
Kafka 4.3의 Partition Size Percentage metrics가 retention 압력을 보여주는 방식과 한계, 그리고 log.dirs 물리 free space 모니터링이 여전히 필요한 이유를 정리합니다.
kafkastoragemonitoringoperationstesting
Kafka 브로커 빼기 전에 먼저 Cordon부터
Apache Kafka 4.3에 추가된 cordoned.log.dirs 설정의 의미와 사용법을 정리합니다. 브로커나 log directory를 비우기 전에 새 replica 배치를 먼저 막는 운영 흐름을 다룹니다.
kafkaoperationsstoragedecommissionmaintenance
Kafka가 잘하는 대용량과 보내면 안 되는 대용량
Kafka는 대용량 이벤트 스트림에 강하지만 대용량 파일 전송 채널로 쓰면 시스템 전체의 storage amplification이 커지는 이유를 정리합니다.
kafkastoragearchitectureoperations
Kafka Broker가 느려졌지만 Kafka가 원인은 아니었다
특정 Kafka broker의 throughput 저하와 ISR 이탈을 추적하다가 VM 아래의 네트워크 블록스토리지 경합까지 내려간 경험을 정리합니다.
kafkaoperationsstorageobservability
Kafka의 디스크는 어디로 가고 있나: Object Storage로 옮겨지는 Streaming Storage
WarpStream, AutoMQ, Apache Fluss, Kafka Diskless Topics를 통해 Kafka 생태계가 broker-local disk를 벗어나 object storage를 바라보는 이유와 차이를 정리합니다.
kafkastorageobject-storagearchitecture