spark-submit：打開'遞歸'（Spark版本2.0.2）

Question

我試圖指定一個目錄作爲參數 - 文件在​​。該作業失敗消息：

org.apache.spark.SparkException: Added file file:[directory path] is a directory and recursive is not turned on. 

中沒有任何spark-submit --help有關指定遞歸，和周圍的Googling沒有表現出它的。任何人都知道這個？

Answer 1

這與SPARK-16408有關。錯誤發生在this line，因爲spark-submit在默認情況下調用addFile，遞歸設置爲false。

作爲一種變通方法，你應該分別指定每個文件或在運行時用遞歸設置您SparkContext對象調用addFile真

sc.addFile(path = ..., recursive = true)