HDP 2.5：Spark歷史記錄服務器UI將不會顯示不完整的應用程序

Question

我使用Hortonworks Data Platform 2.5設置了一個新的Hadoop集羣。在「老」集羣（安裝HDP 2.4）我可以通過點擊鏈接show incomplete applications看到有關通過歷史服務器UI運行星火作業的信息：

在新的安裝此鏈接打開的頁面，但始終是No incomplete applications found!（當仍有應用程序在運行時）。

我剛纔看到，該YARN ResourceManager UI顯示了兩種不同類型的在「跟蹤用戶界面」一欄的鏈接，取決於星火應用程序的狀態：

• 應用程序運行：申請碩士
  • 這個鏈接打開http://master_url:8088/proxy/application_1480327991583_0010/
• 應用程序完成：歷史
  • 這個鏈接打開http://master_url:18080/history/application_1480327991583_0009/jobs/

通過紗線RM鏈接，我可以看到正在運行的應用程序的Spark的相關信息，但通過星火歷史服務器爲什麼我不能訪問它們UI？是否有些事情從HDP 2.4改爲2.5？

Answer 1

我解決了它，這是一個網絡問題：由於交換機配置不正確，一些羣集主機（Spark從機）無法相互訪問。發現它，因爲我試圖互相ping每臺主機。

由於所有主機都可以互相ping通主機，所以問題不復存在，我可以在我的Spark歷史記錄服務器UI中再次看到活動和完成的作業！

我沒有注意到這個問題，因爲ambari-agents在每個主機上工作，並且從每個集羣主機也可以訪問ambari-server！但是，由於所有主機都可以互相訪問，所以問題就解決了！