sparksession getorcreate方法運行

Question

我試圖從Oozie的運行火花的工作，我在Oozie的工作流程兩項行動和它們平行運行。然而，當Oozie開始時，另一個卡住，直到在sparksession.getorcreate（）方法中完成一個。

self.spark_session = SparkSession.builder.master(master).appName(appName).config(conf=conf).enableHiveSupport().getOrCreate() 

Answer 1

如果紗線運行 - 打開資源管理器UI，並檢查是否有對所有作業足夠的資源（例如vCores /內存）。