2017-04-12 27 views
0

我已經創建了4個節點的HDinsight集羣。當我發出命令「紗節點-list」,它表明:運行容器的天青數量是多少?

Node-Id   Node-State Node-Http-Address Number-of-Running-Containers 
10.x.x.x:xxxxx  RUNNING 10.x.x.x:xxxxx    0 
10.x.x.x:xxxxx  RUNNING 10.x.x.x:xxxxx    0 
10.x.x.x:xxxxx  RUNNING 10.x.x.x:xxxxx    0 
10.x.x.x:xxxxx  RUNNING 10.x.x.x:xxxxx    0 

後,我提交蜂房的工作,它計算映射器(例如:900)和減速器(例如:100)。那麼如果我檢查節點詳細信息,它會顯示所有節點中值爲8的正在運行的容器。如果我提交簡單的作業,容器將值2或1隨機分配給任何工作節點。

1. we know that, the mapper/reducer job are assigned to worker nodes. here, is it 4 worker nodes are processing the work or containers are processing? 
    2. basically, what is number of containers. 
    3. how the value of running containers assigned/changed? 
+0

終於,找到了解決辦法。正在運行的容器的數量顯示節點大小的磁盤值。例如,如果我們選擇具有3個工作節點的D4 V2大小,則運行的容器數值將爲48.計算是(工作節點的否)*(D4 V2磁盤大小,即16)。 –

回答

0

在azure HDinsight中創建hadoop集羣的過程中,您將在該存儲帳戶中配置存儲帳戶和容器。 blob容器被用作羣集的默認存儲位置。或者,您可以指定羣集可以訪問的其他Azure存儲帳戶(鏈接存儲)。羣集還可以訪問任何配置了完全公共讀取訪問權或僅用於斑點的公共讀取訪問權限的blob容器。

https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-hadoop-provision-linux-clusters