SecondaryNamenode和MapReduce作業

也許這是一個愚蠢的問題...但無論如何...SecondaryNamenode和MapReduce作業

我怎麼會明白，二次NameNode會做一些事情（我的意思是它的作品），我必須配置它來做什麼？

默認情況下，MapReduce中的任務也是並行運行，我的意思是你在MR中編程的任務總是並行運行？

我提出這些問題是因爲我必須證明（我有一個項目要做）在hadoop上並行運行的任務。

非常感謝您。對不起，我的英語不好，希望我能理解。

2013-06-18 Yon

Yon，當你配置Hadoop時，你把hostname的某些機器放入了/conf/masters。這是你SNN運行的地方。你可以去那臺機器的終端併發行JPS。這將顯示當前正在運行的所有Java處理。您應該能夠看到SecondaryNameNode以及其他進程。類似這樣的：

[email protected]:~$ jps 
21615 TaskTracker 
21268 SecondaryNameNode 
21014 DataNode 
27656 HRegionServer 
21362 JobTracker 
19908 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar 
17643 Jps 
27364 HMaster 
28451 Main 
27194 HQuorumPeer 
29811 RunJar 
20744 NameNode

要進行交叉檢查，您可以將其更改爲其他機器並查看效果。或者，您可以通過SNN端口進行檢查，默認爲50090。是否有意義？

而當您運行MR作業時，您可以通過將Web瀏覽器指向jobtracker_machine:50030來打開mapreduce webUI。在這裏，您可以看到所有正在運行的作業（或之前運行的作業）的列表以及爲特定作業創建的映射器/縮減器的總數。您可以單擊一個作業，它會向您顯示當前正在羣集上運行的所有映射器和縮減器。您可以在那裏看到每個映射器/縮減器的進度。所有這些映射器/縮減器在不同的機器中並行運行。要驗證您可以單擊每個映射器，它會向您顯示特定映射器/縮減器正在運行的機器以及每個映射器/縮減器的完成百分比。

HTH

來源

2013-06-18 12:05:02 Tariq

謝謝你的人......我有三個節點，1個主站（主是從太）和兩個奴隸，在'/ conf目錄/ masters'of凡是我的推杆只有主人的主機節點。你的意思是我還必須把奴隸的主人名......？ – Yon

不客氣。不需要。只有在/ conf /從站中才需要從屬機器的主機名。按照您當前的設置，SNN正在您的主機上運行。/conf/masters僅用於指定SNN。 – Tariq

所以我可以這樣做......我還有一個問題給你，因爲我對hadoop比較陌生並且還在學習，這是僞模式和完整模式的區別嗎？僞模式與單模式相同再次感謝！ – Yon

SecondaryNamenode和MapReduce作業

回答

相關問題