0
是否只有在完成AWS Data Pipeline流中的一項活動後才能啓動EMR羣集?如何僅在管道流中的活動完成後纔在AWS數據管道中啓動EMR羣集
- 從Redshift卸載一些數據(可能需要一個小時或一小時+)。
- 開始EMR集羣
- 在EMR集羣執行火花工作
- 執行一些其他活動
- 終止集羣
所以,我想有一個像「開始EMR集羣」的依賴應取決於「將數據從Redshift卸載到S3」,並且「終止集羣」應該依賴於「執行Spark任務,執行一些其他活動」。
有人可以幫我解決這個問題。
-Krish