apache-airflow

0熱度

1回答

我評估氣流是否適合我的需求（生物信息學）運行氣流DAG。我在Airflow模型中遇到了一些困難。具體如下： DAG文件在哪裏實際執行？它的背景是什麼？如何將輸入數據傳遞到DAG定義文件？（例如，我想OT創建目錄中的每個文件的任務。）如何在特設的基礎上執行DAG？如何傳遞DAG構造的參數？這裏是我想執行什麼樣的例子。假設我剛收到一些數據作爲包含20個文件的目錄，這些文件在某些共享文件系統中

1熱度

2回答

Cron選項卡安排在不同日期的不同時間

我需要安排在星期四下午7點和星期五的工作，我需要安排在晚上11點。我使用的氣流和需要像 0 19 * *週一至週四任何建議，歡迎cron的標籤符號。謝謝問候， CJ

1熱度

1回答

氣流 - 是否可以使用回填命令一次（按順序）運行一天？

基本上，我想運行一個月的回填命令。但是有一些任務取決於前一天的數據。據我所知，這個命令每天都在同一時間運行。 airflow backfill adsquare_events -s 2017-01-01 -e 2017-01-31 有沒有辦法使回填命令一次運行一天（按順序）？乾杯。

2熱度

3回答

氣流取消暫停DAG編程？

我有，我們將部署到多個不同的氣流情況，並在我們的airflow.cfg我們dags_are_paused_at_creation = True但對於這個特定的DAG我們希望它被打開，而無需通過點擊UI人工手動做一個DAG。有沒有辦法做到這一點編程？

0熱度

1回答

airflow webserver -p 8080導致OSError：[Errno 13] Permission denied

在AWS EC2實例中安裝airflow包後，我試圖啓動airflow webserver它顯示權限被拒絕的問題，我沒有得到哪個文件或文件夾它試圖創建/修改以獲取此錯誤。 [[email protected] airflow]# /usr/local/bin/airflow webserver -p 8080 [2017-06-13 04:24:35,692] {__init__.py:57}

1熱度

2回答

Airflow Python運算符中的宏

我可以在PythonOperator中使用宏嗎？我試着跟着，但我無法得到渲染的宏！ dag = DAG( 'temp', default_args=default_args, description='temp dag', schedule_interval=timedelta(days=1)) def temp_def(a, b, **kwargs):

2熱度

1回答

氣流：通過{{DS}}作爲參數去PostgresOperator

我想用執行日期作爲參數傳遞給我的SQL文件：我試圖 dt = '{{ ds }}' s3_to_redshift = PostgresOperator( task_id='s3_to_redshift', postgres_conn_id='redshift', sql='s3_to_redshift.sql', params={'file': dt},

6熱度

1回答

Airflow的BranchPythonOperator如何工作？

我很努力去理解Airflow中的BranchPythonOperator是如何工作的。我知道它主要用於分支，但是文檔混淆了什麼要傳入任務以及我需要從上游任務傳遞/期望什麼。考慮到文檔on this page中的一個簡單示例，上游任務run_this_first和下游2個分支的源代碼的外觀如何？ Airflow知道如何運行branch_a而不是branch_b？上游任務的輸出在哪裏被注意/讀取？

0熱度

1回答

關於部署Apache Airflow平臺的手段

請問任何人都可以在生產服務器上分享部署Apache Airflow平臺的方式（使用順序執行程序以最簡單的獨立模式）的經驗/觀點？

0熱度

1回答

確保任務（Apache的氣流）

下一個順序執行的順序運行，我已經在那裏我指定的需要被順序運行三個任務DAG的文件（T1 - > T2 - > T3）： default_args = { 'owner': 'airflow', 'start_date': datetime(2017, 6, 14, 23 , 20), 'email_on_failure': False, 'email_on_