airflow

2熱度

1回答

當我們做一個dagrun時，在Airflow的UI上，在「圖形視圖」中，我們可以看到每個作業的詳細信息。 JobID類似於「scheduled__2017-04-11T10：47：00」。我需要這個JobID進行跟蹤和日誌創建，其中我保持每個任務/ dagrun所花費的時間。所以我的問題是我該如何獲得正在運行的同一個DAG中的JobID。感謝，阿赫亞

1熱度

1回答

獲取Pycharm看到動態生成的Python模塊

使用Apache氣流他們安裝插件通過修改sys.modules這樣的： sys.modules[operators_module.__name__] = operators_module 這是他們如何從他們的plugins文件夾Python類通過 from airflow.operators.plugin_name import Operator需進口儘管類Operator裏面存在 airf

1熱度

2回答

運行碼頭集裝箱的泊塢窗內的氣流

我在EC2實例上運行氣流，並且正在安排啓動碼頭集裝箱的一些任務。我怎麼做？我需要在我的氣流容器上安裝碼頭嗎？下一步是什麼？我有一個yaml文件，用於旋轉容器，它來自於puckel/airflow泊塢窗圖片

0熱度

1回答

apache airflow scheduler not scheduling jobs

我正在使用apache airflow 1.8.0。這裏輸出的是當我backfill的工作。 [2017-04-13 09:42:55,857] {models.py:1126} INFO - Dependencies all met for <TaskInstance: example_bash_operator.runme_1 2017-04-13 13:43:00 [scheduled]

10熱度

2回答

如何刪除氣流中的默認示例dpg

我是Airbnb開源工作流程/數據管道軟件airflow的新用戶，它位於github上的URL https://github.com/apache/incubator-airflow。 Web UI啓動後有十幾個默認的示例dag。讓我感到愚蠢的是，我嘗試了很多方法去除這些垃圾，但都沒有做到。 load_examples = False在airflow.cfg中設置。文件夾lib/python2.7

2熱度

1回答

Apache AirFlow如何實現可擴展性？

我明白了，Airflow中的許多操作員在將數據上載到目標系統之前將數據存儲在本地。這意味着工作人員節點正在做大量的工作，以防萬一數據量巨大。的Airbnb（公司誰開源氣流）說，早在2015年，他們曾在5000個服務工作氣流集羣只有6個節點。我在這裏錯過了什麼嗎？請幫助理解。

0熱度

1回答

從子dag中拉xcom

我正在使用包含多個子數據標的主dag（main_dag），並且每個子數據都有一些任務。我從subdagA taskA中推送了一個xcom，但我在subdagB taskB中拉取了該xcom。由於xcom_pull（）中的dag_id參數默認爲self.dag_id，因此我一直無法提取必要的xcom。我想知道如何做到這一點和/或是否有更好的方法來設定這種情況，所以我不必處理這個問題。什麼我目前在做s

10熱度

2回答

氣流：模式運行的氣流subdag一次

從氣流文檔： SubDAGs must have a schedule and be enabled. If the SubDAG’s schedule is set to None or @once, the SubDAG will succeed without having done anything 我明白subdagoperator作爲一個BackfillJob實際實現的，因此，我們

10熱度

1回答

示例DAG無限期地陷入「運行」狀態

在我第一次進入氣流時，我試圖運行安裝時附帶的示例DAGS之一。這是v.1.8.0。下面是我的步驟： $ airflow trigger_dag example_bash_operator [2017-04-19 15:32:38,391] {__init__.py:57} INFO - Using executor SequentialExecutor [2017-04-19 15:32:38

5熱度

1回答

氣流管理UI顯示示例dags

我想在本地系統上設置Airflow。我已經使用： export AIRFLOW_HOME=~/Documents/Project/airflow 然後我就初始化氣流DB通過 airflow initdb 然後我用開始氣流Web服務器： airflow webserver -p 8080 現在，當我打開本地主機：8080，管理員面板顯示來自的示例dag /usr/local/lib/p