使用KafkaOffsetMonitoring工具監測Kafka Spout

我正在使用爲我的項目使用storm-0.9.2發行套件的kafkaSpout。我想監視這個噴口的吞吐量。我嘗試過使用KafkaOffsetMonitoring，但它沒有顯示任何消費者從我的主題中閱讀。使用KafkaOffsetMonitoring工具監測Kafka Spout

我懷疑這是因爲我在Zookeeper中指定了噴嘴的根路徑來存儲消費者偏移量。 kafkaOffsetMonitor將如何知道在哪裏查找有關我的kafkaSpout實例的數據？

某人能夠準確解釋zookeeper在哪裏存儲有關kafka主題和消費者的數據嗎？動物園管理員是一個文件系統。那麼，它如何安排不同主題和分區的數據呢？什麼是消費者groupid，以及如何在存儲消費者抵消時由zookeeper解釋？

如果有人曾經使用過kafkaOffsetMonitor來監控kafkaSpout的吞吐量，請告訴我如何讓我的工具找到我的噴嘴？

非常感謝， PALAK沙阿

2014-10-08 paalaak

我從來沒有使用KafkaOffsetMonitor，但我可以回答其他部分。

zookeeper.connect是您可以爲卡夫卡指定znode的屬性;默認情況下，它將所有數據保留在'/'。

您可以使用zookeeper命令行zkCli.sh訪問zookeeper文件系統。你應該看/消費者和/ /經紀人;以下將給你的偏移量

get /consumers/my_test_group/offsets/my_topic/0

你可以不斷調查這個偏移量來知道噴口消耗率。

2014-10-10 06:21:49 mbaxi

嘿，非常感謝指導我。我是Apache Zookeeper的新手（通常是分佈式系統）。你能指導我如何能動員動物園管理員嗎？ – paalaak 2014-10-13 09:42:57

paalaak - 要在java中監視znode，請檢查此鏈接http://zookeeper.apache.org/doc/trunk/javaExample.html#sc_DataMonitor – mbaxi 2014-10-13 12:53:54

上述兩種方法都適用於爲卡夫卡編寫的使用者組。但我試圖監視Apache風暴的KafkaSpout。我仍在試圖瞭解鯨魚噴嘴與普通卡夫卡消費者的相似或不同。任何在這方面的幫助將不勝感激。謝謝你的耐心。 – paalaak 2014-10-17 09:00:55

Kafka-Spout在其自己的znode中保持其偏移量，而不是在kafka存儲常規消費者偏移量的znode下。我們也有類似的需求，我們必須監控卡夫卡噴口消費者和常規卡夫卡消費者的補償，所以我們結束了編寫我們自己的工具。你可以從這裏得到工具：

2015-05-28 19:16:46

回答