我使用必須定期運行並從詹金斯提交的紗線,在EMR集羣上有幾個火花作業。目前,Jenkins機器將在EMR的主節點上進入ssh,其中代碼的副本已準備好在要執行的文件夾中。我希望能夠將我的repo克隆到jenkins工作區中,並提交來自Jenkins的代碼以在集羣上執行。有沒有簡單的方法來做到這一點?從詹金斯部署火花的最佳方式是什麼?如何將火花作業部署到Jenkins的EMR紗線羣集?
2
A
回答
1
您可以使用此rest api調用從詹金斯的HTTP請求啓動/停止工作
0
如果您在詹金斯了Python,使用Boto3是一個不錯的,簡單,靈活和強大的選項執行腳本。
您可以管理EMR(So Spark)創建完整羣集或將作業添加到現有羣集。 另外,使用相同的庫,您可以管理所有AWS服務。
相關問題
- 1. 在紗線集羣上安裝火花
- 2. 帶有火花的AWS DataPipeline EMR集羣
- 3. 火花工作在多節點紗線集羣掛起
- 4. 紗線和集羣模式下的打印火花命令
- 5. 使用virtualenv以紗線/火花集羣模式運行python
- 6. 如何正確提交火花的作業單機集羣
- 7. 紗線 - 執行火花的工作
- 8. 如何部署火花外殼使用集羣文件階?
- 9. 紗線上的火花提交 - 多個作業
- 10. 通過碼頭羣組模式部署火花羣集
- 11. 火花提交--proxy用戶不紗線集羣模式下工作
- 12. 在集羣上部署Mahout作業
- 13. 使用MRJob將作業提交到EMR集羣
- 14. 使用SparkLauncher以編程方式將火花作業提交到dse火花集羣
- 15. 使用紗線集羣
- 16. 分配紗構造的火花命令EMR
- 17. Jenkins插件將docker映像部署到k8s集羣中?
- 18. 使用數據管道進行火花作業的EMR活動
- 19. 用紗線進行火花聚類
- 20. 如何在集羣模式下在紗線上並行運行多個點火作業?
- 21. 如何部署kaa集羣
- 22. 如何殺死火花應用的火花作業?
- 23. 將Perl部署到無共享集羣
- 24. 運行的紗線與火花不與Java一起工作8
- 25. EMR和S3源火花流
- 26. 無法啓動部署的火花作業服務器錯誤org.slf4j.LoggerFactory未找到
- 27. 使用boto3將現有EMR羣集複製到新羣集
- 28. 火花提交「錯誤:沒有主類的JAR設置」,在AWS EMR集羣
- 29. 如何啓動並行火花作業?
- 30. 火花集羣的查詢速度