Eclipse遠程調試spark-submit

我想對使用Windows中的命令提示符提交給Spark的應用程序執行遠程調試。你可以幫我嗎？Eclipse遠程調試spark-submit

任何我可以提供Spark啓動遠程調試端口的地方。

2017-10-04 Vawani

？你想一步步檢查流程嗎？ –

我想用eclipse做一個遠程DEBUG – Vawani

您可以隨時使用Spark和Java/scala做Remote Debugging。如果你想檢查與dataset與localmode然後你可以使用步調試器。看看Java Debugger以及它是如何工作的。

，如果你想使用Spark具體調試在Remotemode然後檢查該鏈接已與循序漸進的過程非常好的例子。

爲了調試驅動，你可以添加以下到您命令。然後將遠程調試器設置爲連接到您啓動驅動程序的節點。

--driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005

您可以根據自己的需要定製port。在這種情況下，請在偵聽模式下啓動您的調試器，然後啓動您的Spark程序並等待執行程序附加到您的調試器。將執行程序的數量設置爲1或多個執行程序都將嘗試連接到您的debugger，這可能會導致問題，這一點很重要。檢查上面的例子獲取更多細節。

如果您正在使用jetbrains那麼你可以用這個例子中，你要調試手段Spark remote debugging

2017-10-04 11:01:21

感謝Indrajit，** - driver-java-options -agentlib：jdwp = transport = dt_socket，server = y，suspend = y，addr ess = 5005 **爲我工作。 – Vawani

回答