airflow

0熱度

1回答

systemd的氣流：`airflow.pid` vs`airflow-monitor.pid`

我的systemd單元文件正在工作（下圖）。但是，airflow-monitor.pid文件暫時變爲只讀，這有時會阻止氣流啓動。我們的解決方法是刪除airflowmonitor.pid，如果發生這種情況。這與airflow.pid文件不同。它看起來像airflow.pid是gunicorn和airflow-monitor.pid是一個python進程作爲airflow webserver。 s

-1熱度

1回答

氣流：獲取用戶使用ldap登錄

有誰知道我能從氣流中獲取當前用戶嗎？我們將後端啓用爲airflow/contrib/auth/backends/ldap_auth.py，因此用戶通過該身份驗證登錄，我想知道如何獲取當前點擊某個內容的用戶（我們作爲插件的自定義視圖）。

2熱度

1回答

如何在氣流中使用--conf選項

我試圖運行氣流DAG並需要傳遞任務的一些參數。如何在python DAG文件中讀取命令行trigger_dag命令中作爲--conf參數傳遞的JSON字符串。 ex：airflow trigger_dag 'dag_name' -r 'run_id' --conf '{"key":"value"}'

-1熱度

1回答

安排Spark Streaming作業

我有一個Spark Streaming作業，它使用spark-submit腳本手動運行。我想安排它每天運行。哪一個更好Azkaban，Airflow，Oozie，Crontab，Spark-jobserver，Quartz或Luigi。任何建議表示讚賞！

2熱度

3回答

氣流 - 如何將xcom變量傳遞給Python函數

我需要引用由BashOperator返回的變量。我可能做錯了，請原諒我。在我的task_archive_s3_file中，我需要從get_s3_file獲取文件名。該任務僅將{{ ti.xcom_pull(task_ids=submit_file_to_spark) }}作爲字符串打印而不是值。如果我使用bash_command，則打印值正確。 get_s3_file = PythonOpera

0熱度

1回答

Airflow DataProcPySparkOperator不考慮全球區域以外的集羣

我正在使用DataProcPySparkOperator執行一些操作。此運算符僅將集羣名稱作爲參數，不存在指定區域的選項，默認情況下它將集羣視爲全局區域。對於不是全球其他地區集羣，出現以下錯誤： googleapiclient.errors.HttpError: https://dataproc.googleapis.com/v1/projects//regions/global/jobs:su

0熱度

1回答

Apache Airflow多租戶

我試圖找出Airflow如何在多租戶環境中工作。具體來說，要求應該如下所示： TeamA和TeamB兩個團隊正在使用單個Airflow實例。團隊的A和B每個都有自己的服務用戶帳戶：serviceUserA和ServiceUserB他們應該運行他們的工作。出於安全原因，團隊A不應該能夠創建在ServiceUserB下運行的作業，反之亦然。在這一點上我不清楚需求3）是否可以用Airflow來滿足

1熱度

2回答

如何將參數從pythonoperator任務傳遞到airflow中的simplehttpoperator任務dag？

我想觸發simplehttpoperator，像這樣：氣流trigger_dag test_trigger --conf '{ 「名」：「東西」}' 然後我用pythonoperator python_callable使用kwargs [ 'dag_run' 接受的參數] .conf，我想將['dag_run']。conf傳遞給simplehttpoperator，我該怎麼做？任何人都可以幫忙

1熱度

1回答

每X分鐘運行一次氣流DAG

我在使用LocalScheduler選項的EC2實例上使用氣流。我已經調用airflow scheduler和airflow webserver，一切似乎都運行良好。也就是說，在將cron字符串提供給schedule_interval用於「每10分鐘執行一次」'*/10 * * * *'後，該作業默認每24小時繼續執行一次。下面的代碼頭： from datetime import datetime

2熱度

1回答

由於執行日期和開始日期，無法運行氣流任務

每當我嘗試運行DAG時，它都將處於運行狀態，但任務不會運行。我已將datetime.today（）的開始日期和我的日程安排間隔設置爲「* * * * *」。手動觸發運行會啓動日曆，但由於以下原因，任務將不會運行：執行日期爲2017-09-13T00：00：00，但是這在任務的開始日期之前2017-09-13T16：20： 30.363268。我已經嘗試了計劃間隔（如每天的特定時間）以及等待被觸