是否可以將spark-submit用作作業調度程序？

Question

我有一個沒有安裝其他作業調度程序的spark獨立羣集。我不知道​​是否可以用作火花和非火花作業的作業調度程序（例如，不爲Spark編寫而不使用RDD的scala jar）？

根據我的測試，​​用於提交非Spark作業並且作業成功運行。但這裏是我的問題：

1. 以下選項是否仍然有意義？ --driver-cores --driver-memory --executor-memory --total-executor-cores
2. 如果否定爲1，是否意味着​​可以使用FIFO維護一個火花和非火花作業的隊列，但它不管理該非火花作業的資源？
3. 如果2是真的，我應該使用另一個調度程序，例如SGE或LSF，提交無火花的工作？

謝謝！

Answer 1

經過多次測試，我想通了。是的，火花獨立可以作爲火花和非火花作業的作業調度程序。

1. 但是，對於非火花作業，​​僅創建驅動程序，不創建執行程序。
2. 作業被安排在一個FIFO隊列中，隊列頭部的作業只有在其資源要求（例如，在​​命令中指定的內核和內存被滿足。