Apache Flume的好處

Question

我是Apache Flume的新成員。 我知道Apache Flume可以幫助傳輸數據。

但是我仍然沒有看到Apache Flume提供的最終好處。 如果我可以配置軟件或使軟件發送哪些數據到哪裏，爲什麼我需要Flume？

也許有人可以解釋一下顯示Apache Flume的好處嗎？

Answer 1

可靠傳輸（如果您使用文件通道）： Flume發送批量小事件。每次向下一個節點發送一個批次時，它都會在刪除之前等待確認。文件通道中的存儲空間經過優化，可以在崩潰時進行恢復。

Answer 2

我認爲從水槽中獲得的最大好處是可擴展性。基本上所有從源頭，攔截器和接收器開始的組件都是可擴展的。

我們使用flume並使用自定義kakfa源讀取數據，數據是以JSON的形式，我們在自定義kafka源中解析它，然後將其傳遞到HDFS接收器。它在5個節點中可靠地工作。我們只擴展了kafka源代碼，HDFS接收器功能我們拿出了盒子。

同時，來自Hadoop生態系統，您將得到很好的社區支持和多種選擇，以不同的方式使用這些工具。