2017-10-09 77 views
0

是否只有在完成AWS Data Pipeline流中的一項活動後才能啓動EMR羣集?如何僅在管道流中的活動完成後纔在AWS數據管道中啓動EMR羣集

  1. 從Redshift卸載一些數據(可能需要一個小時或一小時+)。
  2. 開始EMR集羣
  3. 在EMR集羣執行火花工作
  4. 執行一些其他活動
  5. 終止集羣

所以,我想有一個像「開始EMR集羣」的依賴應取決於「將數據從Redshift卸載到S3」,並且「終止集羣」應該依賴於「執行Spark任務,執行一些其他活動」。

有人可以幫我解決這個問題。

-Krish

回答