如何從spark應用程序的代碼監視/生成彙總的CPU/RAM利用率報告？

Question

我知道神經節可以用來監測像Spark這樣的集羣中的資源利用情況。但它會爲我的申請提供一份總體報告。

但是，如果我想知道我的代碼的特定部分使用了多少資源，有什麼辦法嗎？

A 
My code 
B 

例如，我想知道從CPU/RAM利用率B.我可以計算出代碼中運行時，即火花Java應用程序，但我不知道我怎樣才能知道具體的該部分的資源利用率。我有一個想法，如果我能以某種方式在B生成一個報告（比如call api for ganglia report），它基本上可以顯示我使用的資源。儘管在A之前它不會排除任何內容，但它現在仍然適用於我如果這種解決方案存在

預先感謝您。

Answer 1

顯然新項目sparkoscope似乎在這方面工作，即從源代碼級別進行監視。但是，他們的項目沒有很好的文檔記錄，所以我很難將他們的項目放在工作崗位上。不過，這是一個開始。希望它能幫助像我這樣的人。