airflow

0熱度

1回答

我想開始我的氣流的網絡服務器，但它說，它是無法識別的參數 $ airflow webserver [2017-05-25 15:06:44,682] {__init__.py:36} INFO - Using executor CeleryExecutor ____________ _____________ ____ |__()_________ __/__ /________

0熱度

1回答

如何手動在特定目錄

我評估氣流是否適合我的需求（生物信息學）運行氣流DAG。我在Airflow模型中遇到了一些困難。具體如下： DAG文件在哪裏實際執行？它的背景是什麼？如何將輸入數據傳遞到DAG定義文件？（例如，我想OT創建目錄中的每個文件的任務。）如何在特設的基礎上執行DAG？如何傳遞DAG構造的參數？這裏是我想執行什麼樣的例子。假設我剛收到一些數據作爲包含20個文件的目錄，這些文件在某些共享文件系統中

0熱度

1回答

如何阻止預定的空氣流量dag

我意外地安排了一個簡單的DAG作業，每5分鐘運行一次。我輸入下面的命令： airflow backfill jobs -s 2017-05-01 -e 2017-06-07 我可以看到氣流的Webserver GUI，它推出了許多回填作業。我試圖將正在運行的作業標記爲「成功」，但它返回錯誤。我想每天運行而不是每5分鐘運行一次。我該如何阻止錯誤的工作？

0熱度

1回答

作業啓動時，氣流不會發送電子郵件嗎？

我建立了如下的dags。我推出了這個DAG airflow backfill jobs -s 2017-05-01 -e 2017-06-07 儘管工作成功，但我沒有收到任何電子郵件。我想要做其他事情來接收郵件嗎？或者我應該以不同的方式運行dag？ DAG如下： default_args = { 'owner': 'me', 'depends_on_past': Fal

1熱度

2回答

Cron選項卡安排在不同日期的不同時間

我需要安排在星期四下午7點和星期五的工作，我需要安排在晚上11點。我使用的氣流和需要像 0 19 * *週一至週四任何建議，歡迎cron的標籤符號。謝謝問候， CJ

0熱度

1回答

氣流不滿足任務依賴關係

我有一個簡單的氣流工作流程，由兩個任務組成。其中一個會下載包含庫存數據的csv文件。另一個提取最大股價並將數據寫入另一個文件。如果我運行第一個任務，然後第二個一切工作正常，而不是如果執行：airflow運行stocks_d get_max_share它無法滿足依賴項。 import csv from datetime import datetime from datetime import

6熱度

1回答

氣流 - SubDag中長時間運行的任務在一小時後標記爲失敗

我有一個長時間運行的步驟（通常大約2小時，但它根據運行的單元而變化）的氣流中的SubDAG。在1.7.1.3下，這一步將始終導致AIRFLOW-736，並且當所有步驟都成功時，SubDAG將在'運行'狀態中停頓。我們可以解決這個問題，因爲我們沒有在SubDAG之後執行步驟，只需在數據庫中手動將SubDagOperator標記爲成功（而不是運行）即可。下張樹庭我們的調度和工人通過畫中畫，卸載氣流

1熱度

1回答

氣流 - 是否可以使用回填命令一次（按順序）運行一天？

基本上，我想運行一個月的回填命令。但是有一些任務取決於前一天的數據。據我所知，這個命令每天都在同一時間運行。 airflow backfill adsquare_events -s 2017-01-01 -e 2017-01-31 有沒有辦法使回填命令一次運行一天（按順序）？乾杯。

3熱度

1回答

用於感測本地驅動器上的文件的氣流文件傳感器

有沒有人對FileSensor有任何想法？我在研究本地目錄中的感應文件時遇到了這個問題。代碼如下： task= FileSensor( task_id="senseFile" filepath="etc/hosts", fs_conn_id='fs_local', _hook=self.hook, dag=self.dag,) 我也把我的conn

2熱度

3回答

氣流取消暫停DAG編程？

我有，我們將部署到多個不同的氣流情況，並在我們的airflow.cfg我們dags_are_paused_at_creation = True但對於這個特定的DAG我們希望它被打開，而無需通過點擊UI人工手動做一個DAG。有沒有辦法做到這一點編程？