Hadoop安裝和配置：在同一主機上並排多個版本

Question

我們可以在僞分佈式模式下在同一個系統上安裝不同版本的Hadoop嗎？

其實我想探索不同版本的hadoop-1.x和hadoop-2.x的功能，並且我在兩個運行Linux的系統上配置了hadoop-1.x和hadoop-2.x。有沒有什麼辦法可以在同一臺機器上進行配置？

Answer 1

是的，可以在同一臺主機上並行安裝多個版本的Hadoop軟件。

• 將不同版本的Hadoop軟件提取到不同的子目錄中。
• 爲不同版本創建單獨的配置文件（core-site.xml，hdfs-site.xml，yarn-site.xml等），並將這些文件集保存在不同的目錄中。
• 確保爲使用本地存儲的東西配置不同的目錄，例如hdfs-site.xml中的dfs.namenode.name.dir和dfs.datanode.data.dir。這兩個版本應該有相互隔離的數據。另外，如果您想嘗試在兩個不同版本之間共享數據，並且一次只運行一個版本，那麼您可能可以實現這一目標。根據所涉及的軟件版本，您可能會遇到數據不兼容或需要運行升級命令。
• 如果您想同時運行多個版本，請確保它們配置了不同的服務器端口，例如hdfs-site.xml中的dfs.namenode.rpc-address和yarn-site.xml中的yarn.server.resourcemanager.address。
• 調用命令時，請設置環境變量（如HADOOP_HOME和HADOOP_CONF_DIR）以控制要執行的版本以及要使用的配置。

以上所有內容對於手動部署的安裝（例如使用Apache Hadoop發行版）均正常工作。對於Bigtop發行版或供應商發行版，rpm/deb /等。包裝可能不太容忍並排部署。