RiCo技術農場

管理和理解Consumer offset我覺得是入門kafka的首要基礎，不然可能會遇到一些小問題，

如Consumer為什麼一直pull重複資料?Consumer如何從某個offset開始pull資料?

Consumer為什麼不pull資料?..等

kafka預設保存7天(168 hour)的log在disk，處理message過程中可能會出現異常或非預期錯誤(如網路中斷、disk 問題)，

這時有可能造成我們資料遺失或不一致，這篇來看看如何重新consume這些資料。

確認Consumer是否有完整消耗kafka message是管理kafka重要的第一步，

因為你不想看到message無法被消耗或累積太多的情況。