是否有任何Hadoop框架,我可以在Linux或Windows計算機上本地模擬完整羣集? DFS可以在本地複製數據,Compute層可以執行並行執行? 有沒有這樣或類似的框架?Hadoop框架模擬本地集羣
1
A
回答
2
您可以在一臺或多臺虛擬機上安裝Hadoop。例如。 Cloudera提供預裝其Hadoop發行版的downloadable VM
1
Reference : Rumen是一個爲MapReduce構建的數據提取和分析工具。 Rumen挖掘JobHistory日誌以提取有意義的數據並以易於解析的格式存儲它。瘤胃對從JobHistory日誌中挖掘的信息進行統計分析,這些信息可能由其他工具執行仿真,仿真和基準測試等任務。 Rumen爲GridMix(v3)和Mumak構建了基金會 。
Reference :其他新的contrib模塊包括瘤胃(MapReduce的-751)和Mumak(MapReduce的728),用於建模的MapReduce的工具。兩者一起工作:Rumen從歷史日誌中提取作業數據,然後Mumak用它模擬羣集上的MapReduce應用程序和羣集。 Gridmix3也設計用於處理瘤胃痕跡。作業歷史日誌分析器是提供有關MapReduce羣集利用率(HDFS-459)信息的另一個工具。
樣品Rumen數據是以SVN格式。 FYI,Rumen和Mumak是contrib模塊,並沒有太多的文件可用。這裏有一篇關於GridMix的好文章。
相關問題
- 1. 可用於Hadoop/MapReduce框架的集羣
- 2. 如何使用Hadoop Streaming在本地Hadoop集羣中運行MRJob?
- 3. Hadoop虛擬集羣vs單機
- 4. 爲Hadoop集羣
- 5. Hadoop集羣與碼頭羣
- 6. Hbase Hadoop集羣.. java.io.IOException:java.lang.NoSuchMethodExceptio
- 7. Hadoop集羣工作
- 8. 在hadoop集羣上安裝spark集羣
- 9. 框架集邊框地獄框架集
- 10. 配置多模式Hadoop集羣
- 11. Nagios監控hadoop集羣的腳本
- 12. Objectify模擬框架?
- 13. Hadoop集羣和MapReduce邏輯
- 14. 無法創建Hadoop集羣
- 15. 沒有Hadoop的Canopy集羣
- 16. java.lang.NoClassDefFoundError:上運行Hadoop集羣
- 17. Hadoop多主集羣設置
- 18. 如何估算Hadoop集羣?
- 19. Hadoop的2節點集羣
- 20. 從eclipse訪問Hadoop集羣
- 21. 整合多個Hadoop集羣
- 22. 設置(Windows)Hadoop集羣
- 23. 實體框架多對多羣集與非羣集索引
- 24. glibc集羣本地安裝
- 25. 自定義虛擬地球羣集
- 26. 尋找python集羣消息框架
- 27. 英特爾羣集OpenMP模擬器
- 28. 如何模擬生產羣集以測試單機中的hadoop作業
- 29. 我可以使用單個虛擬機創建Hadoop羣集嗎?
- 30. Zend框架路由模擬