MetricBeat - Kafka的consumergroup度量集不會發送任何數據？

我已經運行ZooKeeper和單個Kafka代理，我想用MetricBeat獲取指標，使用ElasticSearch對其進行索引，並使用Kibana進行顯示。MetricBeat - Kafka的consumergroup度量集不會發送任何數據？

但是，MetricBeat只能從partition度量集中獲取數據，而沒有任何來自consumergroup度量集。

由於kafka模塊被定義爲metricbeat.yml期刊，它應該發送它自己的一些數據，而不僅僅是等待用戶的交互（f.exam - 寫主題）？爲了確保自己，我試圖創建消費者羣體，按主題編寫和消費，但仍然沒有收集到consumergroup度量標準的數據。

consumergroup在metricbeat.template.json和metricbeat.template-es2x.json兩者中定義。

雖然metricbeat.full.yml完全註釋了，這是我的metricbeat.yml卡夫卡模塊定義：

- module: kafka 
    metricsets: ["partition", "consumergroup"] 
    enabled: true 
    period: 10s 

    hosts: ["localhost:9092"] 

    client_id: metricbeat1 
    retries: 3 
    backoff: 250ms 

    topics: []

在/logs目錄MetricBeat的，像這樣的線路顯示：

INFO Non-zero metrics in the last 30s: 
libbeat.es.published_and_acked_events=109 
libbeat.es.publish.write_bytes=88050 
libbeat.publisher.messages_in_worker_queues=109    
libbeat.es.call_count.PublishEvents=5 
fetches.kafka-partition.events=106 
fetches.kafka-consumergroup.success=2 
libbeat.publisher.published_events=109 
libbeat.es.publish.read_bytes=2701 
fetches.kafka-partition.success=2 
fetches.zookeeper-mntr.events=3 
fetches.zookeeper-mntr.success=3

隨着動物園管理員的mntr和卡夫卡partition，我可以看到events=和success=的值，但對於consumergroup只有success。看起來沒有事件被解僱。

partition和mntr數據在Kibana中正確顯示，而consumergroup丟失。

存儲在ElasticSearch中的數據無法用人眼看到，有一些用於目錄名稱的內部字符串，並且日誌不包含任何有用的信息。

任何人都可以幫助我理解正在發生的事情並解決它（可能MetricBeat）發送數據到ElasticSearch？謝謝:)

來源

2017-04-03 milkamar

同樣的問題對我來說 – baz

您需要讓主動消費者消費主題，才能生成consumergroup度量標準集的事件。

來源

2018-03-09 15:56:54

由於這是相當老的問題，我不記得 - 但我認爲有活躍的消費者有。我將結束這個問題，因爲我選擇了不同的監控。 – milkamar

MetricBeat - Kafka的consumergroup度量集不會發送任何數據？

回答

相關問題