氣流：PythonOperator：爲什麼要包含'ds'arg？

Question

定義一個稍後用作python_callable的函數時，爲什麼包含'ds'作爲函數的第一個參數？

例如：

def python_func(ds, **kwargs): 
    pass 

我看着氣流的文件，但找不到任何解釋。

Answer 1

這與provide_context=True參數有關。按氣流文檔，

如果設置爲true，氣流將通過一組可以在函數中使用關鍵字參數。這套kwargs完全對應於你可以在你的jinja模板中使用的東西。爲此，您需要在函數頭中定義** kwargs。

ds是這些關鍵字參數之一，它表示格式爲「YYYY-MM-DD」的執行日期。對於文檔中標記爲（模板化）的參數，可以使用默認變量'{{ ds }}'來傳遞執行日期。您可以在此處詳細瞭解默認變量： https://pythonhosted.org/airflow/code.html?highlight=pythonoperator#default-variables

PythonOperator沒有模板參數，所以做這樣的事情python_callable=print_execution_date('{{ ds }}')將無法​​正常工作。要打印PythonOperator的可調用的函數內部執行日期，你會做它作爲

def print_execution_date(ds, **kwargs): print(ds)

或

def print_execution_date(**kwargs): print(kwargs.get('ds'))

希望這有助於。