apache-airflow

1熱度

2回答

我在探索apache airflow 1.8。我很好奇，有沒有辦法將參數傳遞給DAGs或tasks而backfilling？下面是類似的東西，我在尋找， airflow backfill My_DAG -s some_date -e end_date argument_for_t1 argument_for_t2 ，也可能是參數的個數array。有沒有辦法傳遞參數？我搜索了很多，但無法找到

8熱度

1回答

如何重新啓動氣流

失敗的任務我使用的是LocalExecutor和我的DAG有3任務其中任務（C）是依賴於任務（A）。任務（B）和任務（A）可以並行像運行下面 A - >ç 乙所以任務（A）失敗和，但任務（B）跑得很好。任務（C）在任務（A）失敗時尚未運行。我的問題是我該如何重新運行任務（A），因此任務（C）運行一旦任務（A）完成並且Airflow UI將其標記爲成功。

2熱度

1回答

如何獲得airflow dag運行的JobID？

當我們做一個dagrun時，在Airflow的UI上，在「圖形視圖」中，我們可以看到每個作業的詳細信息。 JobID類似於「scheduled__2017-04-11T10：47：00」。我需要這個JobID進行跟蹤和日誌創建，其中我保持每個任務/ dagrun所花費的時間。所以我的問題是我該如何獲得正在運行的同一個DAG中的JobID。感謝，阿赫亞

0熱度

1回答

apache airflow scheduler not scheduling jobs

我正在使用apache airflow 1.8.0。這裏輸出的是當我backfill的工作。 [2017-04-13 09:42:55,857] {models.py:1126} INFO - Dependencies all met for <TaskInstance: example_bash_operator.runme_1 2017-04-13 13:43:00 [scheduled]

2熱度

1回答

Apache AirFlow如何實現可擴展性？

我明白了，Airflow中的許多操作員在將數據上載到目標系統之前將數據存儲在本地。這意味着工作人員節點正在做大量的工作，以防萬一數據量巨大。的Airbnb（公司誰開源氣流）說，早在2015年，他們曾在5000個服務工作氣流集羣只有6個節點。我在這裏錯過了什麼嗎？請幫助理解。

10熱度

2回答

氣流：模式運行的氣流subdag一次

從氣流文檔： SubDAGs must have a schedule and be enabled. If the SubDAG’s schedule is set to None or @once, the SubDAG will succeed without having done anything 我明白subdagoperator作爲一個BackfillJob實際實現的，因此，我們

5熱度

1回答

氣流管理UI顯示示例dags

我想在本地系統上設置Airflow。我已經使用： export AIRFLOW_HOME=~/Documents/Project/airflow 然後我就初始化氣流DB通過 airflow initdb 然後我用開始氣流Web服務器： airflow webserver -p 8080 現在，當我打開本地主機：8080，管理員面板顯示來自的示例dag /usr/local/lib/p