3
任何人都可以請指出這是什麼激活的批掛有許多個星期的原因，從來沒有被處理？非常感謝。星火流：長時間排隊/主動批次
我的猜測是沒有足夠的執行者，多的工人/執行器就能解決問題？或者Spark對其任務調度程序中的不同批次分配優先級？
但這裏的情況是，最近才批（六月底）得到成功處理，但在5月批仍在排隊。
我只是檢查我的星火設置，調度策略是FIFO
spark.scheduler.mode FIFO
A
回答
1
事實證明，在主節點是瓶頸。
主節點內存不足，然後也許調度無法處理速度不夠快。
解決方案：更改主節點成爲一個更強大的EC2實例
相關問題
- 1. 流星火異常「主」
- 2. iTunes App Store：主版本升級=更長的批准排隊時間？
- 3. 星火流僅流流初始化時間
- 4. 流星火Session.set
- 5. 流星 - 按時間戳排序
- 6. 在某些時間安排批次
- 7. 批次與時間主要LSTM
- 8. 星火流執行流
- 9. 星火流過TCP
- 10. 通過星火流
- 11. 聯盟星火流
- 12. DB寫入與星火流，同時還星火流運行，只有當我關閉星火
- 13. 星火室壁運動流例如
- 14. 在從工作流調用長時間運行的WCF服務之前排隊？
- 15. 火花：火花CSV時間過長
- 16. 星火流正常關機
- 17. 星火流saveAsTextFiles功能
- 18. NoClassDefFound異常星火流
- 19. 如何設置長時間運行的火花流作業
- 20. 星火用長絲流：執行者沒有充分利用
- 21. 流星中的長時間運行的Mongo查詢
- 22. 流星應用需要很長時間才能重新編譯
- 23. 星火：最好的辦法廣播KafkaProducer星火流
- 24. 星火識別日期和時間
- 25. 主管使用流星settings.json啓動
- 26. 流星觀測變化不止一次改變了火焰
- 27. 星火SQL超時
- 28. 在jquery中無需排隊的事件一次全部開火
- 29. 星火查詢追加密鑰空間火花臨時表
- 30. Oracle行鎖的長隊列時間
我運行一個虛擬機有1個vCPU這是造成積壓 – devl