apache-airflow

0熱度

2回答

我正在運行氣流並嘗試迭代我們從命令行構建的某個任務。運行氣流網絡服務器時，一切都按預期工作。但是，當我運行airflow backfill dag task '2017-08-12'，氣流的回報： [2017-08-15 02:52:55,639] {__init__.py:57} INFO - Using executor LocalExecutor [2017-08-15 02:52:56

0熱度

2回答

airflow.exceptions.AirflowException：在DAG中檢測到循環。錯誤的任務

我正在運行氣流管道，但代碼看起來不錯，但實際上我得到airflow.exceptions.AirflowException：在DAG中檢測到週期。錯誤的任務：可以請你幫忙解決這個問題

1熱度

2回答

保證，一些運營商將在同一氣流工人執行

我有一個DAG其下載從雲存儲csv文件通過https 上傳CSV文件到第三方我執行的氣流集羣默認使用CeleryExecutor，所以我擔心在某些時候，當我擴大工人數量時，這些任務可能會在不同的工作人員上執行。例如。工人A下載，工人B嘗試上傳，但沒有找到該文件（因爲它在工作者A上）是否有可能以某種方式保證下載和上載操作員將在相同的氣流下執行工人？

10熱度

2回答

氣流任務陷入「排隊」狀態，永遠不會運行

我正在使用Airflow v1.8.1並在kubernetes上運行所有組件（worker，web，flower，scheduler）& Docker。我用芹菜執行人與Redis的，我的任務是看起來像： (start) -> (do_work_for_product1) ├ -> (do_work_for_product2) ├ -> (do_work_for_product

0熱度

1回答

systemd的氣流：`airflow.pid` vs`airflow-monitor.pid`

我的systemd單元文件正在工作（下圖）。但是，airflow-monitor.pid文件暫時變爲只讀，這有時會阻止氣流啓動。我們的解決方法是刪除airflowmonitor.pid，如果發生這種情況。這與airflow.pid文件不同。它看起來像airflow.pid是gunicorn和airflow-monitor.pid是一個python進程作爲airflow webserver。 s

-1熱度

1回答

氣流：獲取用戶使用ldap登錄

有誰知道我能從氣流中獲取當前用戶嗎？我們將後端啓用爲airflow/contrib/auth/backends/ldap_auth.py，因此用戶通過該身份驗證登錄，我想知道如何獲取當前點擊某個內容的用戶（我們作爲插件的自定義視圖）。

2熱度

1回答

如何在氣流中使用--conf選項

我試圖運行氣流DAG並需要傳遞任務的一些參數。如何在python DAG文件中讀取命令行trigger_dag命令中作爲--conf參數傳遞的JSON字符串。 ex：airflow trigger_dag 'dag_name' -r 'run_id' --conf '{"key":"value"}'

0熱度

1回答

如何運行在80端口

當我設置氣流Web服務器在端口80上運行Web服務器的氣流，不執行服務和失敗，以下錯誤： ... [2017-08-30 06:26:35,286] {__init__.py:57} INFO - Using executor CeleryExecutor [2017-08-30 06:26:35,421] {driver.py:120} INFO - Generating grammar t

1熱度

2回答

無法在GitHub上安裝Python庫的最新候選版本

我沒有成功安裝最新的airflow發行候選版本。具體地，其上運行的CL pip install -e git://github.com/apache/[email protected]#egg=airflow結束了與： File "/home/alex/Desktop/urban-physiology-toolkit/src/airflow/setup.py", line 87, in git_

2熱度

3回答

氣流 - 如何將xcom變量傳遞給Python函數

我需要引用由BashOperator返回的變量。我可能做錯了，請原諒我。在我的task_archive_s3_file中，我需要從get_s3_file獲取文件名。該任務僅將{{ ti.xcom_pull(task_ids=submit_file_to_spark) }}作爲字符串打印而不是值。如果我使用bash_command，則打印值正確。 get_s3_file = PythonOpera