[Kafka] consumer offset checker

確認Consumer是否有完整消耗kafka message是管理kafka重要的第一步,

因為你不想看到message無法被消耗或累積太多的情況。

之前我都是透過 kafka-manager 來管理,但有些作業還是得透過system tools來處理,

所以了解相關command我覺得還是有必要。

這裡我將使用Linux container進行示範,請先確認zookeeper和kafka之間溝通和服務均正常。

進入kafka server的system tools folder,並使用kafka-consumer-groups.sh來確認consumer offset

cd $KAFKA_HOME
bin/kafka-consumer-groups.sh --bootstrap-server 172.17.0.3:9092 --describe --group Log-topic-ConsumerGroup

目前該topic下,所有partition目前沒有任何Lag和offset。

 

我發送100條message後,再查看相關訊息如下

100條message會自動balance並完整消耗,實務上,我建議partition數量等同broker server數量。

 

參考

Documentation