airflow

    1熱度

    1回答

    有誰知道如何使用AIRFLOW_CONN_訪問氣流環境變量並在python代碼中使用。我知道我們可以使用hook來獲取密碼,但一直試圖在我的python中使用AIRFLOW_CONN來連接到數據庫。我在Airflow UI和文檔中保存了連接,他們提到要使用AIRFLOW_CONN_前綴來使用conn_id。我在使用os.environ ['AIRFLOW_CONN_REDSHIFT']的pytho

    0熱度

    1回答

    我是新來氣流。在我的ETL管道公司目前我們正在使用Crontab和自定義調度(內部開發)。現在我們正在計劃實施Apache的氣流爲我們所有的數據管道 - 爲此,在探索無法爲每個任務實例/ Dag找到unique_id的功能時。我搜索了大多數以宏和模板結尾的解決方案。但是它們都沒有爲任務提供uniqueID。但我可以看到每個任務的用戶界面中增量uniqueID。是否有任何方法可以輕鬆地訪問我的pyt

    3熱度

    1回答

    我已經搜索了很多鏈接,但沒有找到解決我遇到的問題的任何方法。我已經看到了將密鑰/ var傳遞給airflow UI的選項,但是最終用戶使用哪個密鑰與哪個dag關聯是非常令人困惑的。有沒有什麼辦法可以實現如下功能: While running an airflow job, end user will be asked for values to some parameters and after

    2熱度

    2回答

    使用最新版本的apache airflow。從LocalExecutor開始,在該模式下,一切工作正常,除了Web UI狀態需要使用CeleryExecutor的一些交互。使用Redis安裝和配置Celery執行程序,將Redis配置爲代理程序URL和結果後端。 它出現在第一個工作,直到任務計劃此時它提供了以下錯誤: File "/bin/airflow", line 28, in <module

    0熱度

    1回答

    是否有任何直接的方法可以將shell腳本運行到dataproc集羣中。目前我可以通過pysparkoperator(它調用aonther python文件,然後這個python文件調用shell腳本)運行shell。我搜查了很多鏈接,但至今沒有找到任何直接的方式。 如果有人能告訴我最簡單的方法,對我來說真的很有幫助。與sh運營商[1]

    1熱度

    1回答

    我試圖用氣流腳本來運行存在於雲存儲HQL文件,有兩個參數,通過它我們可以通過DataprocHiveOperator路徑: 查詢: 'GS://bucketpath/filename.q' Error occuring - cannot recognize input near 'gs' ':' '/' query_uri: 'GS://bucketpath/filename.q' Error o

    0熱度

    1回答

    試圖促成氣流,但不能在Ubuntu 16.0.4上運行並運行。一些事情正在與kerbos進行。 https://github.com/apache/incubator-airflow py34-hdp-airflow_backend_postgres runtests: commands[2] | sudo /home/dalupus/incubator-airflow/scripts/ci/se

    1熱度

    1回答

    我目前使用Airflow 1.8.2安排一些EMR任務,然後在我們的Redshift羣集上執行一些長時間運行的查詢。爲此我使用postgres_operator。查詢需要大約30分鐘的時間才能運行。但是,一旦完成,連接就不會關閉,並且操作員運行一個半小時,直到每次以2小時標記終止爲止。終止的消息是服務器意外關閉了連接。 我檢查了Redshift結束的日誌,它顯示查詢已經運行並且連接已關閉。不知何故

    0熱度

    2回答

    我在Airflow中有任務A→B→C,當我運行DAG並完成所有成功時,我希望能夠單獨清除B(同時將C標記爲成功)。 B清除並進入'no_status'狀態,但是當我嘗試重新運行B時,沒有任何反應。我試過--ignore_dependencies,--ignore_depends_on_past和--force,但無濟於事。如果C也被清除,那麼B似乎只能重新運行,然後所有事情按照預期重新運行。 我希

    0熱度

    1回答

    在我的情況下,我在dags路徑下編寫了一個dag文件。啓動氣流調度程序後,它成功加載了dag文件。但是,它改變了dag文件後加載了dag文件。有沒有建議在沒有重啓調度程序的情況下使用dag文件?