airflow

5熱度

1回答

定義一個稍後用作python_callable的函數時，爲什麼包含'ds'作爲函數的第一個參數？例如： def python_func(ds, **kwargs): pass 我看着氣流的文件，但找不到任何解釋。

0熱度

1回答

我很新與氣流，我有這個問題：我有一個DAG，處理TXT文件並將其轉換爲CSV，這是配置： one_days_ago = datetime.combine(datetime.today() - timedelta(1), datetime.min.time()) default_args = { 'owner': 'airflow', 'depends_on_past':

2熱度

1回答

aiflow max活動達格運行達到了

氣流開始後，沒有一個達格爲特定的達格運行並達到最大活躍標準。即使在將dag運行狀態設置爲成功後，Scheduler似乎也不會將新計劃的任務移至執行狀態。所有活動的DAG運行保持「運行」狀態。這發生在一些dag單獨。有人可以幫忙嗎？

28熱度

6回答

氣流：如何刪除DAG？

我已經啓動了Airflow網絡服務器並安排了一些dag。我可以在Web GUI上看到dag。如何從運行中刪除特定的DAG並在Web GUI中顯示？有沒有一個Airflow CLI命令來做到這一點？我環顧四周，但無法找到一個簡單的方法來刪除DAG，一旦它已被加載和計劃的答案。

0熱度

2回答

Apache Airflow調度程序在計劃時間不會觸發DAG

當我安排DAG每天在特定時間運行時，DAG執行完全不會發生。但是，當我重新啓動Airflow Web服務器和調度程序時，DAG將在該特定日期的預定時間執行一次，並且不會在第二天起執行。我使用Airflow版本v1.7.1.3與Python 2.7.6。這裏去的DAG代碼： from airflow import DAG from airflow.operators.bash_operato

6熱度

1回答

氣流啓動失敗，原因是gunicorn

Traceback (most recent call last): File "./python_runtime/bin/airflow", line 15, in <module> args.func(args) File "/home/admin/airflow/python_runtime/lib/python2.7/site-packages/airflow

0熱度

1回答

氣流Web服務器上啓動僅在調試模式

氣流Web服務器上啓動僅在調試模式 airflow webserver -p 8051 [2016-10-18 18:41:13,816] {__init__.py:36} INFO - Using executor CeleryExecutor ____________ _____________ ____ |__()_________ __/__ /________ __

4熱度

2回答

將日誌添加到氣流日誌中

如何將自己的日誌添加到自動生成的Apache Airflow日誌中？任何打印語句都不會在那裏登錄，所以我想知道如何添加我的日誌，以便它顯示在UI上？

5熱度

1回答

寫入氣流日誌

在Airflow中寫入日誌的一種方法是從PythonOperator返回一個字符串，如第44行here。是否有其他方法可以讓我寫入氣流日誌文件？我發現打印語句不會保存到日誌中。

0熱度

1回答

DAG從氣流調度程序開始找不到airflow.cfg

我正在利用Airflow v1.7.1.3提供訪問airflow.cfg以將某些配置值放置在其中而不是嵌入代碼中的事實。我們增加以下內容作爲airflow.cfg文件的第一行： [foo] bar = foo bar 在代表DAG的foobarDAG.py類，我做了以下內容： from airflow.configuration import conf … def fooBa