spark.ml.gradientboosting的進度報告？

我正在使用spark.ml漸變提升。生成結果需要將近一天的時間。有沒有辦法顯示進度？（例如，迄今爲止生成了多少棵樹）spark.ml.gradientboosting的進度報告？

2016-07-31 B log

不幸的是，除了你可以在火花Web UI中檢查的常規任務的進度外，一般不會有什麼進展。 – eliasah

在log4j.properties文件中將缺省日誌級別設置爲「DEBUG」，或通過修改shell spark.sparkContext.setLogLevel("DEBUG")中的Spark上下文來設置。這將在樹形建造中提供帶有狀態更新的調試消息，例如，

[DEBUG] 2016-07-31 11:36:23,689 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - ################################################### 
[DEBUG] 2016-07-31 11:36:23,690 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - Gradient boosting tree iteration 2 
[DEBUG] 2016-07-31 11:36:23,690 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - ###################################################

調試日誌記錄信息也會顯示每次迭代時GBT的錯誤。

來源

2016-07-31 18:39:44

謝謝Seth。我在Spark Standalone上使用Ipython（pyspark）。我在我的筆記本上完成了sc.setLogLevel（「DEBUG」），但我的日誌中仍然沒有看到任何DEBUG消息。 –

spark.ml.gradientboosting的進度報告？

回答

相關問題