2016-08-19 80 views
3

我正在嘗試使用Kafka-Connect與HDFS接收器連接器來傳輸數據。獨立模式和分佈式模式都運行正常,但它只寫入HDFS一次(基於刷新大小),而不是稍後流式傳輸。如果我錯過了一些東西,請幫忙。Kafka Connect HDFS接收器問題

匯合2.0.0 &卡夫卡0.9.0

回答

2

我面臨以下參數這個問題長期back.Just支票上未

連接-HDFS散熱器性能

「logs.dir 「:」/ hdfs_directory /數據/登錄」

「request.timeout.ms」: 「310000」

「offset.flush.interval.ms」: 「5000」

「heartbeat.interval.ms」: 「60000」

「session.timeout.ms」: 「300000

」 最大。 poll.records「:」100「

+0

非常感謝Gaurav。我錯過了logs.dir屬性。現在運行良好並能夠流式傳輸數據。 –

+0

是不是'consumer.max.poll.records'而不是'max.poll.records'? –