2017-03-31 161 views
3

我想要使用Airflow生成客戶端報告,我希望有一個DAG循環遍歷所有客戶端並啓動任務以生成報告。客戶端列表由DAG中的第一個任務收集,不能被硬編碼。在Airflow DAG中生成動態任務

基本上我有一個任務,它使用python操作符中的數據庫鉤子來生成列表。然後對於列表中的每個項目,我想使用一個python運算符執行一個任務,該運算符將該項目作爲參數傳遞給python函數。有什麼模式可以用來實現這一點?

回答

0

Trigger_dag概念

讓使用數據庫鉤在Python運營商生成列表中的任務」是在控制器DAG任務,並在列表中通過每個項目的trigger_dag PARAMS部分。

你會發現在實例引用您的氣流安裝文件夾

好運!

+0

感謝答案@priyank,但我還不明白。 TriggerDagRunOperator中的'python_callable'可以讀取參數,但只能返回一個dag對象來創建一個dag run。我需要每次用不同的參數執行N次'TriggerDagRunOperator'。在哪裏產生任務(或DagRuns)? – MarkAWard