airflow-scheduler

1熱度

2回答

我正在使用Airflow 1.8.1，我想推送來自PostgreOperator的SQL請求的結果。這是我的任務： check_task = PostgresOperator( task_id='check_task', postgres_conn_id='conx', sql="check_task.sql", xcom_push=True, d

0熱度

1回答

如何定義不應該定期運行的氣流DAG /任務

目標非常簡單：我需要爲手動任務創建一個DAG，該任務不應該定期運行，而只能在管理員按下「運行」按鈕時執行。理想情況下，無需切換「取消暫停」和「暫停」DAG（您知道某人肯定會忘記暫停）。到目前爲止，我只有schedule_interval="0 0 30 2 *"（2月30日希望永遠不會發生），但必須有更好的方法！有嗎？

1熱度

1回答

如何刪除XCOM對象，一旦DAG在Airflow中完成其運行

我在XCOM中有一個巨大的json文件，稍後我不需要一旦dag執行完成，但我仍然可以在UI中看到Xcom對象數據，一旦DAG運行完成後，是否有任何方式以編程方式刪除XCOM？謝謝

10熱度

2回答

氣流任務陷入「排隊」狀態，永遠不會運行

我正在使用Airflow v1.8.1並在kubernetes上運行所有組件（worker，web，flower，scheduler）& Docker。我用芹菜執行人與Redis的，我的任務是看起來像： (start) -> (do_work_for_product1) ├ -> (do_work_for_product2) ├ -> (do_work_for_product

0熱度

1回答

調度程序不排隊作業

我試圖測試Kubernetes上的氣流。調度程序，工作者，隊列和Web服務器都在不同的部署上，我使用Celery Executor來運行我的任務。除了調度程序無法排隊工作以外，一切正常。當我從Web UI或CLI手動執行它時，Airflow能夠正常運行我的任務，但我試圖測試調度程序以使其工作。我的配置幾乎一樣，因爲它是在單個服務器上： sql_alchemy_conn = postgresql

2熱度

1回答

如何在氣流中使用--conf選項

我試圖運行氣流DAG並需要傳遞任務的一些參數。如何在python DAG文件中讀取命令行trigger_dag命令中作爲--conf參數傳遞的JSON字符串。 ex：airflow trigger_dag 'dag_name' -r 'run_id' --conf '{"key":"value"}'

1熱度

1回答

氣流回填新任務添加到Dag

今天說是2017-10-20。我有一個現在的成功直到今天的DAG。我需要添加一個啓動日期爲2017-10-01的任務。如何自動從2017-10-01到2017-10-20使調度程序觸發器任務成爲可能？

0熱度

1回答

Apache Airflow多租戶

我試圖找出Airflow如何在多租戶環境中工作。具體來說，要求應該如下所示： TeamA和TeamB兩個團隊正在使用單個Airflow實例。團隊的A和B每個都有自己的服務用戶帳戶：serviceUserA和ServiceUserB他們應該運行他們的工作。出於安全原因，團隊A不應該能夠創建在ServiceUserB下運行的作業，反之亦然。在這一點上我不清楚需求3）是否可以用Airflow來滿足

1熱度

2回答

如何將參數從pythonoperator任務傳遞到airflow中的simplehttpoperator任務dag？

我想觸發simplehttpoperator，像這樣：氣流trigger_dag test_trigger --conf '{ 「名」：「東西」}' 然後我用pythonoperator python_callable使用kwargs [ 'dag_run' 接受的參數] .conf，我想將['dag_run']。conf傳遞給simplehttpoperator，我該怎麼做？任何人都可以幫忙

2熱度

2回答

Apache Airflow芹菜Redis解碼錯誤

使用最新版本的apache airflow。從LocalExecutor開始，在該模式下，一切工作正常，除了Web UI狀態需要使用CeleryExecutor的一些交互。使用Redis安裝和配置Celery執行程序，將Redis配置爲代理程序URL和結果後端。它出現在第一個工作，直到任務計劃此時它提供了以下錯誤： File "/bin/airflow", line 28, in <module