2
flume如何識別活動的namenode，以便將數據寫入HDFS？如果沒有高可用性Hadoop，我們將在flume.conf中配置namenode ip，以便將數據輕鬆導向HDFS。而在我們的案例中，Flume應該識別活動和備用名稱節點，從而將數據導向活動節點。如何使用Apache FLUME將數據寫入HA Hadoop QJM？
A
回答
1
AFAIK這是不可能的直接的方式。 HDFS sink配置只有一個Namenode的空間。不過，我認爲你可以配置兩個HDFS接收器（和兩個通道），每個接收器指向一個Namenode。由於默認Replicating Channel Selector，來源將在兩個頻道中放置每個事件的副本。因此，每個匯將嘗試自行堅持數據;指向備用Namenode的指針不會持續存在，直到活動指針下降並且備用數據庫變爲活動狀態。
HTH！
0
這對我的作品（Hadoop的2.7.1，1.6.0水槽）： 將Hadoop的* -site.xml配置文件到你的classpath水槽
不知道這其中的作品，我放在覈心-site，hdfs-site，yarn-site，mapred-site），但集羣名稱的設置位於core-site.xml中
相關問題
- 1. QJM中的資源管理器配置Hadoop 2.6.0的HA設置
- 2. 沒有hadoop的Apache Flume
- 3. 使用Flume將CSV文件寫入HDFS
- 4. 將數據寫入Hadoop
- 5. 如何使用apache flume將數據下載到系統日誌
- 6. 無法使用Apache flume將數據插入到hbase中
- 7. Flume將數據從MySQL遷移到Hadoop
- 8. 將數據寫入到使用Apache POI
- 9. 使用FLUME將數據存儲在Hadoop中
- 10. Apache Hadoop：將壓縮數據插入HDFS
- 11. 將非HA Hadoop集羣轉換爲HA集羣
- 12. 如何配置Apache Flume 1.4.0以從Twitter獲取數據並放入HDFS（Apache Hadoop版本2.5）？
- 13. 如何將數據集寫入apache文件中使用hadoop office庫的數據集java
- 14. 爲Hadoop Namenode備份添加QJM或NFS
- 15. 如何將數據從mysql導入Apache Hadoop HDFS安裝。
- 16. 如何測量Apache Flume EPS？
- 17. 如何分發Apache Flume 1.4
- 18. hadoop flume log4j配置
- 19. 完全分佈式Hadoop集羣 - 使用Zookeeper和QJM自動故障轉移HA集羣
- 20. 將API數據傳輸到通過Flume的hadoop
- 21. 如何將Apache Flume配置爲不使用.COMPLETE
- 22. 使用Kafka將數據導入Hadoop
- 23. 無法使用Flume獲取Twitter數據
- 24. 如何將加密數據寫入HDFS
- 25. 在Apache Flume中壓縮數據
- 26. 使用hadoop-ha時獲取java.net.UnknownHostException？
- 27. 將數據加載到Apache的Hadoop的
- 28. 使用Apache POI和TestNG框架將數據寫入excel
- 29. 使用Apache POI將數據寫入java中的excel文件
- 30. 使用Apache poi將數據寫入Word文檔？