Apache Spark有沒有設置不刪除工作人員上的臨時文件

Question

我正在嘗試調試一個Python文件和我正在使用spark-submit提交給Spark羣集的自定義包的導入錯誤。

對於臨時保存正在運行的Python代碼而創建的臨時文件的結構，它會非常棒，但它總是刪除臨時文件。

那麼，有沒有一種方法來刪除臨時文件夾，它會刪除當我看到停火花

INFO ShutdownHookManager: Deleting directory /mnt/tmp/spark-144e34d1-bd37-4d99-8fae-e4c0e5df 

Answer 1

我知道的唯一的辦法就是把司機進入睡眠一段時間：

import time, sys 
sys.stdout.write("going to sleep\n") 
sys.stdout.flush() 
time.sleep(600) # 10 minutes 

當您在驅動程序日誌中看到going to sleep消息時，在上下文被終止並且臨時數據被刪除之前有10分鐘。