在氣流中是否可以在多個DAGS中使用單個任務？

Question

我有一個task_a，我想在DAG_1和DAG_2中使用。這是可能的氣流？

task_a = SomeOperator(
task_id='some_id', 
bash_command='some_command', 
#instead of just 
dag= DAG_1 # I want to assign this task to multiple dags 
#dag=assign_multiple_dags_here(DAG_1 and DAG_2) 
) 

這可能嗎？

Answer 1

你總是可以做一些與partial，然後將其分配到2分不同的DAG：

from functools import partial 
task_template = partial(SomeOperator, some_id='id', some_command='cmd') 
task_template(dag=dag1) 
task_template(dag=dag2) 

，你也可以只創建一個具有它的功能：

def create_task(dag): 
    return SomeOperator(some_id='id', some_command='cmd', dag=dag) 

for d in (dag1, dag2): 
    create_task(d) 

Answer 2

根據當前設計no。

任務是DAG的一部分。每個DAG運行都會創建一個任務實例。

這是保持框架的看家簡單