如何在集羣模式下在紗線上並行運行多個點火作業？

例如，當我向紗線羣集提交第一個作業時，作業正在運行，然後提交第二個作業，第二個作業狀態從不運行，直到第一個作業完成或成功或失敗。如何在集羣模式下在紗線上並行運行多個點火作業？

有沒有辦法在集羣模式下在紗線上並行運行多個點火作業？

2017-10-09 jason zhang

這是關於你的隊列設置。如果您沒有使用--queue QUEUE_NAME明確指定您的作業隊列，則紗線會在默認隊列中啓動，否則（如果在指定隊列中提交作業時添加參數--queue system）。您可以在YARN/Configs/Advanced/Scheduler（我使用Ambari）中配置隊列（創建新的，設置最大數量的應用程序，在隊列之間分配資源等），參數yarn.scheduler.capacity.<queue-path>.maximum-applications。

也讀https://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

來源

2017-10-09 12:31:34

我已經設置了yarn.scheduler.capacity。。最大應用爲10，它仍然不起作用 –

@jasonzhang，哪個隊列？嘗試yarn.scheduler.capacity.system.maximum-applications到10並在啓動應用程序時添加spark-submit參數'--queue system'。確保你有足夠的資源來運行多個工作 –

@jasonzhang並檢查你的系統隊列調度策略，它應該允許啓動多個工作（嘗試公平） –

如何在集羣模式下在紗線上並行運行多個點火作業？

回答

相關問題