apache-airflow

    0熱度

    1回答

    我試圖用芹菜測試氣流。我更改了broker_url和celery_result_backend以查看mysql。 所以芹菜開始很好地連接到數據庫,但是當我運行airflow flower它似乎讀取默認配置條目連接到數據庫。 這是我所看到的日誌: [I 170420 13:51:38 mixins:231] Connected to sqla+mysql://airflow:[email prote

    1熱度

    1回答

    我正在調度dag並顯示處於運行狀態,但任務沒有被觸發.Airflow調度程序和Web服務器已啓動並正在運行。我在界面上將Dag切換爲ON。我仍然無法解決問題。我正在使用CeleryExecutor嘗試更改爲SequentialExecutor,但沒有運氣。

    1熱度

    2回答

    有什麼辦法可以在不重啓服務器的情況下實現作業嗎?

    2熱度

    1回答

    我們的系統基本上只是運行C#和Powershell應用程序以及MS SQL Server的Windows服務器。我們有一個內部的WorkflowManagement解決方案,能夠運行執行EXE/BAT/PS1的任務,甚至可以調用DLL函數。 現在我正在評估Apache Airflow是否是更好的解決方案。我迄今爲止的天真計劃是在Linux機器上運行氣流調度程序,然後讓消費者在Windows機器上運

    8熱度

    1回答

    如何在Airflow UI上停止/終止正在運行的任務?我正在使用LocalExecutor。 即使我使用CeleryExecutor,我該如何殺死/停止正在運行的任務?

    0熱度

    1回答

    我想弄清楚如何配置/計劃一個氣流DAG在確切的時間每天運行兩次,而不是在符合標準的同時運行兩次。 我想在午夜和晚上9點運行相同的任務。 爲此,我添加了一個cron到schedule_interval像0 0,21 * * *,所以它每天在午夜和晚上9點運行。但是今天(4月27日)的運行時間爲昨天(4月26日)的00:00:00,並且00:00:00和21:00:00同時運行。 預期行爲將於今天(4

    0熱度

    1回答

    在這個example,我看到EmrCreateJobFlowOperator接收是建立在氣流UI的AWS/EMR連接: cluster_creator = EmrCreateJobFlowOperator( task_id='create_job_flow', job_flow_overrides=JOB_FLOW_OVERRIDES, aws_conn_id='aws

    1熱度

    1回答

    我想傳遞變量{{ds}}中的執行日期。但是,我通過一個函數傳遞它,它沒有得到執行日期。 def get_spark_step_2(date): #logic in here return step exec_date = '{{ ds }}' step_adder2 = EmrAddStepsOperator( task_id='create_parquet

    0熱度

    1回答

    嗨,我還是新來的氣流。我想知道Airflow如何連接到Spark? 我有一臺服務器與不同的帳戶(或配置文件)來訪問Spark羣集。我不知道Airflow是否有固定的配置文件來連接火花?或者它遵循用戶配置文件? 另外,是否有可能爲Airflow中的用戶設置不同的訪問權限? 例如,有權訪問Spark(或hdfs)中的位置A的用戶A只能運行與位置A有關的任務(因此無法從位置B運行任何作業) Thanks

    1熱度

    1回答

    每當airflow dag運行並從所有任務訪問該文件時,我們是否可以創建唯一的文件名? 我試着創建全局變量(output_filename)併爲其添加時間戳。 但是,當我在任務中訪問file_name時,每個任務都會生成不同的文件名,因爲它正在計算每個任務中的時間戳。 下面是示例代碼: table_name = 'Test_ABC' start_date = datetime.now() cu