flume-ng

0熱度

1回答

我爲apache flume 1.7編寫了自定義攔截器。攔截器必須爲來自kafka源的所有事件設置特殊的標題，該標題與config定義的正則表達式匹配。但這是行不通的。我對java的知識太低，請幫我解決問題。我的配置/etc/flume-ng/conf/flume.conf的部分： ######################## kafka source ###################

1熱度

1回答

使用FLUME將數據存儲在Hadoop中

我已經按照教程中的hadoop安裝和Flume的所有步驟進行了操作。我在大數據工具中很無聊。我收到以下錯誤。我不明白，問題在哪裏？我也讀了很多關於安裝的帖子，但我仍然面臨這個問題。我的最終目標是使用R執行Twitter情緒分析。 17/09/29 02:25:39 INFO node.PollingPropertiesFileConfigurationProvider: Configurati

-1熱度

1回答

將Kafka消息流式傳輸到MySQL數據庫

我想將Kafka消息寫入MySQL數據庫。在this鏈接中有一個示例。在那個例子中，apache flume用於消費消息並將其寫入MySQL。我使用相同的代碼，當我運行flume-ng agent和event始終成爲null 而且我flume.conf.properties文件是： agent.sources=kafkaSrc agent.channels=channel1 agent.sin

0熱度

2回答

當數據從卡夫卡流向HDFS時，Flume沒有足夠的空間錯誤

我們正在努力處理從Kafka到由Flume管理的HDFS的數據流。由於下面描述的例外情況，數據未完全傳輸到hdfs。但是這個錯誤對我們來說看起來有些誤導，我們在數據目錄和hdfs中都有足夠的空間。我們認爲這可能是通道配置的問題，但我們對於其他來源具有類似的配置，並且對於它們來說工作正常。如果有人不得不處理這個問題，我會很感激提示。 17 Aug 2017 14:15:24,335 ERROR

0熱度

1回答

卡夫卡分區領導人選舉失敗後，不受控制的經紀人關機

我們有3卡夫卡經紀人和主題與40個分區和複製因子設置爲1.在一些分區失控的卡夫卡經紀人關閉後，我們看到，它是不可能選出新的領導者（請參閱下面的日誌）。最終我們無法讀到這個話題。請注意，如果可以在不改變複製因子大於1的情況下倖存這種類型的崩潰。我們希望我們的目標數據庫具有一致的狀態（基於kafka主題的事件創建），所以我們還將參數unclean.leader.election.enable設置爲

0熱度

1回答

水槽錯誤：通道hdfschannel不活躍集

我得到以下錯誤消息，當我開始我的水槽劑： 17/10/15 14:40:47 WARN conf.FlumeConfiguration: Could not configure sink hdfssink due to: Channel hdfschannel not in active set. org.apache.flume.conf.ConfigurationException: Cha

0熱度

1回答

如何將Apache Flume配置爲不使用.COMPLETE

重命名攝入的文件我們有一個AWS S3存儲桶，我們可以以10分鐘的時間間隔獲取新的CSV文件。目標是將這些文件攝入Hive。所以對我來說顯而易見的方式是使用Apache Flume爲此並使用Spooling Directory來源，它將不斷尋找登陸目錄中的新文件並將它們攝入Hive中。我們有read-only權限S3存儲桶和登陸目錄中的文件將被複制和Flume後綴攝入文件後綴.COMPLETE

0熱度

1回答

來自Kafka在Flume中的EOFException

我正在嘗試設置從控制檯Kafka生產者到Hadoop文件系統（HDFS）的簡單數據管道。我正在開發一款64位的Ubuntu虛擬機，並按照我所遵循的指南的建議，爲Hadoop和Kafka創建了單獨的用戶。使用控制檯消費者在卡夫卡消費生產的輸入，並且HDFS似乎正在運行。現在我想使用Flume將輸入傳送到HDFS。我使用下面的配置文件： tier1.sources = source1 tier1.

1熱度

1回答

HDFS匯：如何擺脫由水槽在HDFS中的每一個事件添加時間戳的文件

我有一個包含在每一行JSON的幾個文件 [[email protected] vp_flume]# more vp_170801.txt.finished | awk '{printf("%s\n", substr($0,0,20))}' {"status":"OK","resp {"status":"OK","resp {"status":"OK","resp {"status":"OK

0熱度

1回答

帶有Flume的卡夫卡消息中的意外字符

我有一個使用Flume的攝入管道& Kafka，使用CSV文件，在Flume Interceptor中將事件轉換爲JSON並在Kafka中推送它。當我在發送給Kafka之前記錄消息時，這是一個正常的，有效的JSON。但是，當從Kafka消費相同的消息時，我在嘗試序列化它時收到錯誤，並說它不是有效的JSON。事實上，我有無法識別的字符在我的消息的開頭：例如我認爲它代表水槽試圖在張貼到卡夫卡時