可能從集羣模式下提交Spark應用程序提交輸出？

Question

是否可以從集羣模式下提交我的Spark應用程序的輸出？如果是這樣，怎麼樣？

我正在使用Python運行一個簡單的Spark應用程序。該程序只需設置一個Spark上下文並在屏幕上打印This app ran successfully。當我提交以下應用程序：

spark-submit --deploy-mode client --master local[*] foo.py 

它運行成功並打印出消息。

然而，當我運行相同的應用程序：

spark-submit --deploy-mode cluster --master yarn-cluster foo.py 

運行成功，但我沒有得到任何輸出。

雖然我已經使用Spark幾個月了，但在集羣模式下提交應用程序相對比較新，所以任何幫助/文檔都非常棒！

Answer 1

您可以保存這個應用程序成功跑到外部存儲系統，如：

sc.parallelize(['This app ran successfully'], 1).saveAsTextFile(path='hdfs:///somewhere/you/want')