airflow

    1熱度

    1回答

    我想創建一個工作流程,在過去的執行完成後開始,但不取決於他們的成功狀態。這意味着dag將按順序排列,而不依賴於過去的狀態。 即: 處決命令: 2017年3月9日15:00:00成功 2017年3月9日16:00:00失敗 2017年3月9日17:00:00成功 2017年3月9日18:00:00成功 它利用氣流我該怎麼辦? (我想這是對回填相同)

    2熱度

    1回答

    我正試圖在Windows桌面中用PyCharm設置基於氣流的應用程序工作區。 已經安裝了PyCharm,python 2.7,並將氣流添加到Project Interpreter。 試圖設置從https://pythonhosted.org/airflow/tutorial.html非常基本的例子。當python腳本(tutorial.py)被執行時,它會在幾秒鐘內完成而不執行任何操作。任何幫助我

    3熱度

    1回答

    有誰知道如何配置空氣流,使得在電子郵件警報鏈接沒有指向本地主機: 嘗試1出2 的異常: bash命令失敗 登錄:鏈接 主持人:vm232 日誌文件:/home/dev/airflow/logs/test_email_alert/email_alert/2017-03-15T20:00:00.log 馬克的成功:鏈接 鏈接我得到的是 「本地主機」 謝謝

    2熱度

    1回答

    我有以下兩個SSHExecuteOperator任務的DAG。第一個任務執行返回參數的存儲過程。第二項任務需要此參數作爲輸入。 請解釋如何從推送到task1中的XCom中獲取值,以便在task2中使用它? from airflow import DAG from datetime import datetime, timedelta from airflow.contrib.hooks.ssh

    0熱度

    1回答

    失敗一個任務是BCP查詢的結果(我連接的MS SQL服務器的命令行查詢)的最佳方式是什麼? 我每30分鐘從多個表下載數據。如果數據不存在,則BCP命令仍在創建一個文件(0大小)。這使得看起來任務總是成功,但實際上這意味着其他團隊正在維護的複製服務器上缺少數據。 bcp "SELECT * FROM database.dbo.table WHERE row_date = '2016-05-28' A

    1熱度

    1回答

    有沒有辦法讓我有一個任務需要完成多個上游任務,這些任務仍然能夠獨立完成? download_fcr - >process_fcr - >load_fcr download_survey - >process_survey - >load_survey create_dashboard應要求load_fcr a nd load_survey成功完成。 我不想強迫'調查'任務鏈中的任何內容要求'fcr

    3熱度

    1回答

    我想要使用Airflow生成客戶端報告,我希望有一個DAG循環遍歷所有客戶端並啓動任務以生成報告。客戶端列表由DAG中的第一個任務收集,不能被硬編碼。 基本上我有一個任務,它使用python操作符中的數據庫鉤子來生成列表。然後對於列表中的每個項目,我想使用一個python運算符執行一個任務,該運算符將該項目作爲參數傳遞給python函數。有什麼模式可以用來實現這一點?

    1熱度

    2回答

    的「DS」可變我能夠訪問宏在Python代碼象下面這樣: partition_dt = macros.ds_add(ds, 1) ,但我無法弄清楚如何獲得ds變量本身,這看似的保持只能在模板中訪問。任何指針?

    3熱度

    2回答

    我有一個task_a,我想在DAG_1和DAG_2中使用。這是可能的氣流? task_a = SomeOperator( task_id='some_id', bash_command='some_command', #instead of just dag= DAG_1 # I want to assign this task to multiple dags #dag=assign_m

    3熱度

    1回答

    我是新來的Airflow。 我有一個DAG,其中包含應該在特定機器上運行的任務(在我的情況下爲EMR集羣)。我怎樣才能知道氣流在哪裏運行特定任務,以便每次運行時都會在該機器上這樣做?