apache-airflow

2熱度

2回答

我似乎無法得到這個工作。我想每天發送一個給定的文件，其名稱類似於'file _ {{ds_nodash}}。csv'。問題是，我似乎無法將此名稱添加爲文件名，因爲它似乎無法使用。在電子郵件或主題的文本完美，而不是名稱。這裏是DAG作爲一個例子： local_file = 'file-{{ds_nodash}}.csv' send_stats_csv = EmailOperator(

1熱度

2回答

Apache Camel和Apache Airflow是否重疊？它們是如何比較的？

目前，我們正在使用Apache-Camel爲ETL，那就是，我們每天服用/來自不同數據庫的每週/每月的出口，執行所需的操作，然後某處公佈結果供其他數據庫攝取。最近我看到一個Apache-Airflow談話，在我看來，它可以做的工作，駱駝是隻是做容易。更容易我的意思是它看起來會更自我記錄，因此更容易維護。我對麼？而爲什麼兩者之間沒有比較，就像Camel and Mule之間有比較？

0熱度

1回答

如何訪問來自Airflow的響應SimpleHttpOperator GET請求

我正在學習Airflow並有一個簡單的問題。下面是我的DAG稱爲dog_retriever import airflow from airflow import DAG from airflow.operators.http_operator import SimpleHttpOperator from airflow.operators.sensors import HttpSensor

1熱度

1回答

如何刪除XCOM對象，一旦DAG在Airflow中完成其運行

我在XCOM中有一個巨大的json文件，稍後我不需要一旦dag執行完成，但我仍然可以在UI中看到Xcom對象數據，一旦DAG運行完成後，是否有任何方式以編程方式刪除XCOM？謝謝

1熱度

1回答

使用airflow將文件傳輸到kafka

使用氣流將CSV文件傳輸到kafka主題的最佳方法是什麼？寫一個自定義的運算符用於氣流？

0熱度

1回答

氣流1分鐘後殺死我的任務

我有一個非常簡單的DAG有兩個任務，如下列： default_args = { 'owner': 'me', 'start_date': dt.datetime.today(), 'retries': 0, 'retry_delay': dt.timedelta(minutes=1) } dag = DAG( 'test DAG',

0熱度

1回答

逃生撇號

我真的試圖在下列方式使用泊塢窗CLI命令添加變量： docker exec -u root airflowdags_webserver_1 bash -c "airflow variables --set my_var '{\"test\": \"test\'2\"}'" 但是，得到以下錯誤： bash: -c: line 0: unexpected EOF while looking for

0熱度

1回答

如何在氣流中啓用子標籤？

氣流文件，它被提及如下「Subdags必須有一個時間表，並啓用即使subdags被觸發作爲一個更大的DAG的一部分，如果他們的日程安排設置爲無或「@一旦「，這個subdag運營商就會成功而不做任何事情」。但不清楚，我們如何啓用子標籤。有什麼辦法來啓用Subdag嗎？

0熱度

1回答

阿帕奇氣流1.9從GitHub

在Debian 8安裝我安裝了Apache氣流1.9從GitHub感謝這個命令行的debian 9：pip install git+https://github.com/apache/[email protected] 不過，我有造成Fernet的airflow initdb過程中發生錯誤，你知道如何解決這個問題？ INFO [alembic.runtime.migration] Running

0熱度

1回答

Airflow會造成太多連接並導致MySQL RDS服務器崩潰

我正在使用Airflow連接來從RDS SQL實例中提取和處理數據。問題是該進程正在生成超過21個連接（儘管我的併發性在cfg文件中設置爲4）並且RAM超載。根據我如何設置流程，我不希望每次連接超過6-8個連接。有沒有一個好的cfg文件設置或管理面板選項，可以讓我控制這種行爲？我試過更新sql_alchemy_pool_recycle但這並沒有解決問題。你可以看到系統性能開始坦克的GANT圖表作