需要解決方案來安排Spark作業

Question

我是Spark的新手。 在我們的項目中，

1. 我們已經將七個PLSql腳本轉換爲Scala-Spark。
2. 現有PLSql腳本被安排爲Talend上的作業。每個 腳本都安排在一個單獨的作業上，這七個作業只有在第一個作業成功完成後纔會按順序運行，第二個作業將開始並且一直延續到最後一個作業（第七個作業）。

我的團隊正在探索將Scala-Spark程序安排爲其他方式的工作的可能性。其中一個建議是將在Talend上運行的相同作業轉換成Scala。我不知道這是否可能。 所以，誰能讓我知道是否有可能在Scala上做同樣的事情。

Answer 1

您可以使用tSystem或tSSH組件在Talend中提交您的Spark任務。並從提到的組件獲取響應代碼（退出代碼）。如果退出代碼= 0（成功），則可以提交下一個火花作業。我們在我們的項目中也這樣做了。