2016-08-03 93 views
4

我正在尋找添加另一個DAG到現有的Airflow服務器。服務器當前正在使用LocalExecutor,但我可能希望我的DAG使用CeleryExecutor。這似乎是在配置文件airflow.cfg只允許一個執行者:可以爲每個Airflow DAG設置不同的執行器?

# The executor class that airflow should use. Choices include 
# SequentialExecutor, LocalExecutor, CeleryExecutor 
executor = LocalExecutor 

是否有可能配置空氣流,使得現有的DAG可以繼續使用LocalExecutor和我的新DAG可以使用CeleryExecutor或自定義的執行類?我還沒有找到任何人這樣做的例子,也沒有找到Airflow文檔中的任何內容。

回答

1

似乎調度程序將只啓動執行程序的一個實例。

0

如果您的DAG中有SubDAG,則可以將特定的執行程序傳遞給該SubDagOperator。例如,要使用SequentialExecutor:

bar_subdag = SubDagOperator(
    task_id='bar', 
    subdag=my_subdag('foo', 'bar', default_args), 
    default_args=default_args, 
    dag=foo_dag, 
    executor=SequentialExecutor() 
) 

這是1.8,不確定1.9是否不同。

相關問題