如何在Azure數據工廠中執行管道中的活動？

Question

我有一個由4個不同的活動組成的管道。每項活動都是下一項活動的先決條件。也就是說，第一個活動爲第二個活動生成輸入，第二個活動爲第三個活動生成輸入，等等。我已經將所有輸入和輸出文件夾定義爲表格，並且在我的管道中，我將每個作業的輸出添加爲下一個的輸入。

我的假設是每個活動都得到執行並生成輸出文件夾，然後下一個活動將其作爲輸入。但是，當我執行管道時，第一個活動成功完成，但是當執行第二個活動時，它看起來像第一個活動正在執行，因爲第二個活動失敗，並且錯誤消息顯示第一個活動正在執行並且失敗（因爲我沒有通過所需的參數）！我在執行活動的方式中錯過了什麼？

我的活動是HDInsight活動。

我來自Oozie背景，並將管道視爲oozie工作流程。

Answer 1

基本上，輸出數據表中的可用性配置設置決定了活動的運行時間。 您可以嘗試將作業拆分爲單獨的管道。我也認爲這樣更容易在圖中查看並調試整個流程。

編輯：您可以使用系統變量（WindowsStart等）在管道chaining activities中鏈接活動。但我仍然認爲從視覺和調試的角度來看，更容易將活動分開到流水線。

Answer 2

一個流水線包含1-n個活動，流水線中的每個活動都可以有0-n個輸入和1-n個輸出。您可以在管道中執行chain activities，並設置管道active period即開始和結束來執行管道中的活動。