NFS上的Hadoop集羣

我正試圖在NFS的同一局域網上的5臺機器上安裝hadoop集羣。我面臨的問題是，一臺機器上的hadoop副本會複製到所有機器上，所以我無法爲每個從機提供專有的屬性。由於這個原因，我得到了「無法創建鎖定」類錯誤。常見問題表明NFS不應該被使用，但我沒有別的選擇。有沒有一種方法，我可以指定屬性，大師應該從其中選擇位置1的配置文件，slave1應該從位置2中選擇其配置文件.....NFS上的Hadoop集羣

來源

2011-07-30 Chander Shivdasani

Hadoop旨在運行每個節點都有自己的本地連接的磁盤。任何使用共享NFS系統的大型Map/Reduce作業都可能表現不佳。即使在我們擁有8個本地驅動器的集羣中，我們也可以獲得IO等待（到目前爲止，12個主軸節點已經運行良好）。 – cftarnas

我需要這個來測試我公司產品的一些功能。我不打算將此設置用於任何地圖/縮小的東西，這僅用於測試目的。 –

只需要清楚，計算機配置節點和HDFS存儲。您的問題似乎只是配置的存儲空間。這可以並且應該在本地完成，或者至少讓每臺機器根據一些本地標識的配置映射到符號鏈接（例如Mach01 - >/etc/config/mach01，...）。

（修訂1）關於符號鏈接下面的評論/問題：首先，我要承認這不是我可以立即解決的問題。有2種方法我看到：

有一個腳本（例如，在啓動時或啓動的Hadoop的包裝）的機器上確定主機名（如hostname -a') which then identifies a local symlink (e.g.在/ usr /本地/ hadoopConfig'）到正確的目錄NFS目錄結構。
根據本地計算機的主機名設置一個環境變量la HADOOP_HOME，並讓各種腳本對其進行處理。

雖然＃1應該工作，它傳達給我的方法，而不是一個，我設置了，而且我是有點擔心的符號鏈接事件，該主機配置錯誤（會發生這種情況）。方法＃2看起來更健壯。

來源

2011-08-17 03:55:50 Iterator

你能詳細介紹一下sym鏈接的東西嗎？這是否意味着我可以在不同的機器上擁有相同的位置，成爲其他位置的符號鏈接？例如，我可以在機器1和2上分別指向/ home/temp1和/ home/temp2的符號鏈接/ home/temp嗎？這將解決我的問題！ –

在回答中處理比評論更容易，所以我會修改答案。 – Iterator

即使我更傾向於使用＃2 –

NFS上的Hadoop集羣

回答

相關問題