紗和Hadoop

Question

我有一對夫婦的關於作業提交到HDFS和Hadoop的紗線結構問題：

所以在Hadoop的生態系統，你必須爲每個集羣一個NameNode的，可以包含任意數量的存儲數據的節點你的數據。將作業提交給Hadoop時，NameNode上的作業跟蹤器將選擇每個作業並將其分配給數據節點上存在該文件的任務跟蹤器。

所以我的問題是YARN的組件如何在HDFS中一起工作：？

所以YARN由NodeManager和資源管理器組成。在這兩個組件之外：NodeManager是否在每個DataNode上運行，並且ResourceManager在每個集羣的每個NameNode上運行？因此，當任務跟蹤器（在每個DataNode中）從作業跟蹤器（在NameNode中）分配任務時，特定數據節點中的NodeManager將創建一個容器，該容器將從NameNode中的ResourceManager請求資源。因此，只有當數據節點中的任務跟蹤器從NameNode中的作業跟蹤器獲取作業時，此資源管理器和節點管理器纔會發揮作用，其中NodeManager將向ResourceManager請求要執行作業的資源。它是否正確？

Answer 1

你是部分正確的。 YARN被帶入了圖片，以避免Jobtracker負擔調度和監控的負擔。所以對於YARN，您沒有任何Job跟蹤器或任務跟蹤器。 Job tracker完成的工作現在由資源管理器完成，資源管理器包含兩個主要組件：Scheduler（爲應用程序分配資源）和ApplicationsManager（接受作業提交併在出現任何故障時重新啓動ApplicationMaster）。現在，每個應用程序都有一個ApplicationMaster，它可以在調度程序中協商運行應用程序的容器（運行作業的位置）。

Nodemanager在每個從節點/數據節點上運行。資源管理器可能/可能不會安裝在namenode存在的位置。對於大型集羣，我們通常需要將主設備分開，以便負載不會轉到單臺設備上。