flume-ng

0熱度

1回答

從Apache水槽1.6官方網站，我發現水槽是分佈。但是主從架構在Flume 1.x之後已經被棄用了。水槽如何分配工作？我通過Hortonworks在兩臺主機上安裝了水槽。我覺得在兩臺不同的機器上運行2個獨立的水槽。有人可以幫助我瞭解它的分佈。如果我在主機A和主機B上配置了相同源和接收器的HttpAgent，該怎麼辦？是否會複製輸入數據或水槽座標？請糾正我的理解。

0熱度

1回答

需要幫助調試kafka源到hdfs接收器與flume

我想從kafka發送數據（最終我們將使用運行在不同實例上的kafka）到hdfs。我認爲flume或某種攝取協議是將數據導入hdfs所必需的。所以我們使用了cloudera的flume服務和hdfs。這是我的flume-conf文件。 2181：當我開始卡夫卡消費者也可以從卡夫卡生產的消息在本地主機上就好了其他的conf文件是空 tier1.sources=source1 tier1.chan

0熱度

1回答

水槽配置不工作，顯示異常

我有followinf水槽配置。我正在嘗試使用來自spool目錄的flume將大小爲9GB的文件傳輸到hdfs。我有以下水槽配置。 #initialize agent's source, channel and sink wagent.sources = wavetronix wagent.channels = memoryChannel2 wagent.sinks = flumeHDFS

2熱度

1回答

定製水槽攔截：截距（）方法調用多次對同一事件

TL; DR 當水槽源未能事務推到在流水線中的下一信道，它始終保持事件實例爲下一次嘗試？一般情況下，安全有有狀態 Flume攔截器，其中事件的處理取決於以前處理的事件？全部問題描述：我正在考慮利用有關方式主題分區消費者分佈在消費羣體在現有的基礎水槽日誌進行流式重複數據刪除阿帕奇卡夫卡提供擔保的可能性整合架構。使用Kafka Source for Flume和自定義路由到Kafka主題分區，

0熱度

1回答

Apache Flume卡住後執行flu-ng

我需要幫助。我已經下載Apache Flume並安裝在Hadoop之外，只是想通過控制檯嘗試netcat日誌記錄。我用1.6.0版本。這裏是我的conf https://gist.github.com/ans-4175/297e2b4fc0a67d826b4b 這裏是我如何開始它 bin/flume-ng agent -c conf -f conf/netcat.conf Dflume.ro

1熱度

1回答

水槽命令[尾巴-F]退出，1

試圖在Linux中運行以下命令： 2016-06-26 09:03:44,610 (conf-file-poller-0) [INFO - org.apache.flume.node.Application.startAllComponents(Application.java:138)] Starting new configuration:{ sourceRunners:{r1=EventDr

0熱度

2回答

找不到我的數據寫入hdfs與水槽

我想用Flume寫入HDFS數據。這是我的水槽代理配置： a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 4141

0熱度

1回答

運行代理與Apache水槽

我試圖使用我的推特應用程序使用flume 1.6v從Twitter下載日誌數據。但我不斷面臨着這樣的錯誤： error>>/usr/hdp/2.2.9.0-3393/flume/bin/flume-ng.distro: line 247: /usr/java/jdk1.7.0_79/bin/java/: Not a directory /usr/hdp/2.2.9.0-3393/flume/b

0熱度

1回答

flume hdfs rollSize不能在多通道和多接收器中工作

我想用Flume-ng來獲取128MB的日誌信息並將其放入HDFS文件中。但HDFS滾動選項不起作用。 Flume-ng每秒發送日誌文件。我怎樣才能修復flume.conf文件？ agent01.sources = avroGenSrc agent01.channels = memoryChannel hdfsChannel agent01.sinks = fileSink hadoopSin

-1熱度

1回答

使用Flume將本地文件系統中的文件複製到HDFS

在java中使用文件生成器時，我將在本地文件系統中擁有需要在HDFS中移動的目錄和文件流。我在互聯網搜索，我看到我可以使用Flume，但我沒有找到任何資源，向我解釋如何做到這一點。你有什麼想法如何實現這一點？謝謝