確認Consumer是否有完整消耗kafka message是管理kafka重要的第一步,
因為你不想看到message無法被消耗或累積太多的情況。
之前我都是透過 kafka-manager 來管理,但有些作業還是得透過system tools來處理,
所以了解相關command我覺得還是有必要。
這裡我將使用Linux container進行示範,請先確認zookeeper和kafka之間溝通和服務均正常。
進入kafka server的system tools folder,並使用kafka-consumer-groups.sh來確認consumer offset
cd $KAFKA_HOME
bin/kafka-consumer-groups.sh --bootstrap-server 172.17.0.3:9092 --describe --group Log-topic-ConsumerGroup
目前該topic下,所有partition目前沒有任何Lag和offset。
我發送100條message後,再查看相關訊息如下
100條message會自動balance並完整消耗,實務上,我建議partition數量等同broker server數量。
參考