apache-airflow

1熱度

1回答

函數我想執行一個函數，我從任務傳遞一個參數。這裏是我的功能與狀態參數： def sns_notify(state): client = boto3.client('sns') if state == "failed": message = config.get('sns', 'message') + state else: message =

1熱度

1回答

如何設置Airflow的電子郵件配置以發送錯誤電子郵件？

我試圖通過傳遞一個不起作用的Bash行（thisshouldnotrun）來故意排除故障並排除錯誤。氣流正在輸出以下內容： [2017-06-15 17:44:17,869] {bash_operator.py:94} INFO - /tmp/airflowtmpLFTMX7/run_bashm2MEsS: line 7: thisshouldnotrun: command not found

0熱度

2回答

氣流故障鬆弛消息

如何配置Airflow，以便DAG中的任何故障將（立即）導致鬆弛消息？此時此刻我通過創建一個slack_failed_task對其進行管理： slack_failed_task = SlackAPIPostOperator( task_id='slack_failed', channel="#datalabs", trigger_rule='one_failed',

2熱度

1回答

運行期間添加到DAG中的任務未能安排

我的想法是有一個任務foo，它生成輸入列表（用戶，報告，日誌文件等），併爲輸入列表中的每個元素啓動任務。目標是利用Airflow的重試和其他邏輯，而不是重新實現它。所以，理想情況下，我應該DAG看起來是這樣的：這裏唯一的變量是生成的任務數。在完成所有這些任務之後，我想做更多的任務，因此爲每項任務啓動新的DAG似乎並不合適。這是我的代碼： default_args = { 'owne

0熱度

1回答

運行預定DAG的Airflow命令的順序是什麼？

我不明白我需要運行哪些命令才能獲得DAG預定。假設我使用airflow test dag_name task_id_1 2017-06-22測試了DAG，第二項任務使用了airflow test dag_name task_id_2 2017-06-22。我跑airflow trigger_dag dag_name，但那是爲了實例化DAG恰好那一刻嗎？比方說，我想dag_name的定時/調度的

2熱度

2回答

在氣流GUI外部創建連接

我想在不與Airflow GUI交互的情況下創建S3連接。有沒有可能通過airflow.cfg或命令行？我們正在使用AWS的作用，下面的連接參數爲我們工作： { 「aws_account_id」：「XXXX」，「role_arn」：「YYYYY」} 所以，手動創建的GUI爲S3連接工作，現在我們希望自動執行此流程，並希望將其添加爲Airflow部署流程的一部分。任何工作？

1熱度

1回答

如何停止/殺死在守護進程模式下啓動的氣流調度程序

我是新來的氣流和意外啓動的守護程序模式下的氣流調度程序。現在，我想殺死調度器並可能重新啓動它。我試着做 sudo kill -9 <list of pids> pkill <name> 什麼都沒發生。當我運行 ps aux | grep 'airflow scheduler' 我看到這些項： user1 2907 6.0 1.0 329788 62996 ? Sl 17:37

1熱度

2回答

如何在氣流中途成功退出任務？

我有一個dag檢查FTP服務器上的文件（氣流運行在不同的服務器上）。如果存在文件，則文件被移到S3（我們在這裏存檔）。從那裏，文件名被傳遞給Spark提交作業。火花作業將通過S3（不同服務器上的Spark集羣）處理文件。我不確定是否需要有多個dag，但這裏是流程。我想要做的只是在S3存儲桶中存在文件時才運行Spark作業。我嘗試使用S3傳感器，但它符合超時標準後失敗/超時，因此整個DAG設置爲失

1熱度

2回答

氣流將甚至從配置中刪除

氣流示例的DAG保持在UI我在配置文件關閉後還是後load_examples = False保持表示實施例的DAG。該系統通知的DAG是不存在於DAG文件夾，但它們仍然在UI因爲調度程序將其標記在元數據數據庫作爲活性。我知道從那裏刪除它們將直接刪除數據庫中的這些行單程不過關當然，這並不ideal.How我應該着手刪除這些UI DAGs的？

1熱度

1回答

氣流回填DAG運行扶養

當我回填特定日期的DAG，我想通過依次運行它，也就是我希望它一天完成所有任務的特定日期未來運行一天，然後一天等等..我已經使用了depends_on_past參數，但它只是幫助我設置依賴任務而不是在DAG運行。例如： - Dag_A有4個任務，我用回用depends_on_past填寫，在Dag_A（第一天），它觸發Dag_A（第二日）的第一個任務執行的第一個任務後，我不希望它