airflow

    1熱度

    1回答

    dag = DAG( dag_id='error_config', default_args=default_args, schedule_interval= '*/10 * * * *') 我DAG的ARG遊戲這樣的,但是當我點擊了網頁上的「運行」按鈕,此DAG只有正常運行,但未來schedule_interval後不能自動運行

    5熱度

    1回答

    我發現自己處於手動觸發DAG運行(通過airflow trigger_dag datablocks_dag)運行的情況,並且Dag Run在界面中顯示,但它會永遠保持「運行」狀態,而無需執行任何操作。 當我在UI檢查該DAG運行,我看到以下內容: 我有start_date設置爲datetime(2016, 1, 1),並schedule_interval設置爲@once。 我的從閱讀文檔的理解是,

    2熱度

    1回答

    我無法將通用代碼移到氣流使用的dag目錄之外。我查看了airflow source,發現imp.load_source。 是否可以使用imp.load_source來加載dag目錄之外的模塊?在下面的例子中,這將從公共目錄導入foo或bar。 ── airflow_home |──── dags │ ├── dag_1.py │ └── dag_2.py ├

    0熱度

    1回答

    我有一個Airflow實例不會轉換Jinja變量。我在我的DAG中有這個代碼。 print 'execution date is: ', ' {{ ds }} ' 上述變量是字面打印的。 INFO - Subtask: execution date is: {{ ds }} Jinja2通過pip安裝(我使用Python 2.7)。 PYTHONPATH設置正確,因爲來自jinja模塊的i

    0熱度

    1回答

    我們有一個直接與DAG API(DagBag(),get_dag()然後dag_run()) 的DAG運行正常,問題是,我們能不能找到一種方法與執行這樣的DAG執行的DAG前端服務器具體參數。 最接近的解決方案是使用變量API,它使用set()和get()方法,但這些變量是全局變量,並且在使用相同變量名稱的併發操作中工作時可能會發生衝突。 我們如何運行一個dag並設置可用的參數來執行它?我們主要使

    0熱度

    1回答

    我有一個DAG,它是通過查詢DynamoDB獲取列表創建的,並且列表中的每個項目都使用PythonOperator創建並將其添加到DAG中。在下面的例子中沒有顯示,但重要的是要注意列表中的一些項目取決於其他任務,所以我使用set_upstream來強制執行依賴關係。 - airflow_home \- dags \- workflow.py workflow.py def

    2熱度

    1回答

    我是新來的氣流和芹菜,我已經完成繪製DAG了,但我想運行任務在兩臺計算機是在同一子網,我想知道如何修改airflow.cfg。一些例子可能會更好。感謝任何答案orz。

    1熱度

    1回答

    讓我們來看看我能否在這個問題上解釋我自己。 請參閱我的S3文件,我從格式錯誤的客戶那裏收到。例如,日期顯示爲小破折號,例如「2017_07_10」。 由於我想訪問它們以便能夠下載它們,首先我有一個任務是氣流中的S3傳感器。它看起來像這樣: xxx = S3KeySensor( task_id='task_name', bucket_key=BUCKET_KEY, wil

    1熱度

    4回答

    嗨,我正在使用Airflow並將我的氣流項目放在EC2中。然而,當我的mac進入睡眠狀態或退出ssh時,如何保持氣流調度程序運行?

    1熱度

    2回答

    嗨,我正在使用Airflow並在EC2的後臺運行。 但是,您如何停止/檢查日誌? 我找不到文檔的詳細說明。 謝謝!