卡夫卡消費者滯後JMX

我試圖監控卡夫卡0.10消費羣體的滯後。卡夫卡消費者滯後JMX

我們的消費者正在跟蹤他們在卡夫卡的偏移而不是ZooKeper。這意味着我可以使用以下獲得的數字：

bin/kafka-consumer-groups.sh --bootstrap-server <broker> --describe --group <group-name>

這工作得很好。但是，我的經紀人已經使用Prometheus JMX exporter來收集一些統計數據。我已將JConsole連接到代理，但無法看到由kafka-consumer-groups.sh報告的在JMX中報告的相同數據。

反正有沒有要求任何額外的工具從卡夫卡與JMX 沒有這個信息？

來源

2017-10-06 GuessBurger

的可能的複製的輸出[卡夫卡消費者 - JMX屬性]（https://stackoverflow.com/questions/37799564/kafka-consumer-jmx-properties） –

「卡夫卡：權威指南「建議使用Burrow：https://engineering.linkedin.com/apache-kafka/burrow-kafka-consumer-monitoring-reinvented –

看來書和Burrow都會共享一位作者。是否有任何具體原因爲什麼建議Burrow？我們已經有了一個警報/監控工具，所以我不需要這方面，只是消費者滯後信息。 – GuessBurger

您可以檢索所有分區的度量kafka.consumer:type=consumer-fetch-manager-metrics,client-id={client-id}的atrributes {topic}-{partition}.records-lag。這應該是等同於consumer-groups.sh

來源

2017-10-09 02:07:10 amethystic

我在'jconsole'中看不到任何'kafka.consumer'。我通過'jmx'連接到代理，因爲我們使用了一個非JMV的消費者。 – GuessBurger

正如在評論和「重複」問題中提到的那樣 - 這不是經紀人JMX財產，但消費者的 –

'kafka.cosumer'只在用java或scala編寫的消費者客戶端上......它不在經紀人身上...... – user2061886

卡夫卡消費者滯後JMX

回答

相關問題