apache-airflow

0熱度

1回答

Airflow具有upgradeb命令，需要在升級Airflow版本時運行。我想知道即使版本相同也能安全運行

3熱度

2回答

我已經在名爲tutorial_2.py（實際上是airflow教程中提供的tutorial.py的副本，但dag_id更改爲tutorial_2）中定義了一個DAG。當我看看我的默認，未修改airflow.cfg（位於~/airflow），我看到dags_folder設置爲/home/alex/airflow/dags。我做cd /home/alex/airflow; mkdir dags;

2熱度

1回答

如何設置要使用的氣流環境變量？

當試圖運行一個DAG，說它無法找到一個環境變量時，氣流返回一個錯誤，這很奇怪，因爲它能夠找到3個我作爲Python變量存儲的其他環境變量。這些變量根本沒有問題。我在~/.profile，所有4個變量也做 export var1="varirable1" export var2="varirable2" export var3="varirable3" export var4="varira

5熱度

1回答

氣流DAG運行已觸發，但從未執行？

我發現自己處於手動觸發DAG運行（通過airflow trigger_dag datablocks_dag）運行的情況，並且Dag Run在界面中顯示，但它會永遠保持「運行」狀態，而無需執行任何操作。當我在UI檢查該DAG運行，我看到以下內容：我有start_date設置爲datetime(2016, 1, 1)，並schedule_interval設置爲@once。我的從閱讀文檔的理解是，

0熱度

1回答

動態創建任務列表

我有一個DAG，它是通過查詢DynamoDB獲取列表創建的，並且列表中的每個項目都使用PythonOperator創建並將其添加到DAG中。在下面的例子中沒有顯示，但重要的是要注意列表中的一些項目取決於其他任務，所以我使用set_upstream來強制執行依賴關係。 - airflow_home \- dags \- workflow.py workflow.py def

2熱度

2回答

雖然氣流initdb的，AttributeError的：模塊」對象沒有屬性 'client_auth'

我最近安裝的Apache氣流1.8.1，我執行以下命令： airflow initdb 其返回以下錯誤： Traceback (most recent call last): File "/usr/bin/airflow", line 18, in <module> from airflow.bin.cli import CLIFactory File "/usr/l

1熱度

1回答

在氣流主節點上運行一個特定的任務

我有一個使用celery executor在不同工作節點上運行的任務列表的dag。不過，我想運行主節點上的其中一個任務。那可能嗎？

3熱度

1回答

Airflow - BACKFILLING

有沒有什麼辦法可以在不進行多任務的情況下依次運行回填？例如，如果我使用多個日期運行回填，例如氣流回填[dag] -s「2017-07-01」-e「2017-07-10」，有什麼方法可以在跑到下一個之前完成每個DAG天？現在，它正在完成每項任務的所有日子，然後再進行下一項任務。謝謝。

4熱度

1回答

Airflow default on_failure_callback

在我的DAG文件中，我定義了一個on_failure_callback（）函數來發布失敗時的Slack。它工作得很好，如果我指定我的DAG每個運營商：on_failure_callback = on_failure_callback（）有沒有一種方法（例如，或通過我的DAG對象通過default_args）自動分派給我的所有運營商？

1熱度

2回答

如何動態迭代上游任務的輸出以在氣流中創建並行任務？

考慮以下DAG示例，其中第一個任務get_id_creds從數據庫中提取憑證列表。此操作告訴我數據庫中的哪些用戶能夠運行進一步的數據預處理，並將這些ID寫入文件/tmp/ids.txt。然後，我將這些ID掃描到我的DAG中，並使用它們生成可並行運行的upload_transaction任務列表。我的問題是：有沒有更習慣性地使用氣流做到這一點的正確動態方法？我在這裏感到笨拙和脆弱。我如何直接將一個