Airflow「此DAG不在網絡服務器DagBag對象中」

當我將新的DAG python腳本放入dags文件夾時，我可以在DAG UI中查看DAG的新條目，但它未自動啓用。最重要的是，它似乎沒有正確加載。我只能點擊列表右側的刷新按鈕幾次，然後切換列表左側的開啓/關閉按鈕，以便能夠安排DAG。這些都是手動過程，因爲我需要觸發某些東西，即使DAG腳本放在了DAG文件夾中。Airflow「此DAG不在網絡服務器DagBag對象中」

任何人都可以幫助我嗎？我錯過了什麼嗎？或者這是氣流中的正確行爲？

順便說一句，正如在帖子標題中提到的那樣，有一個指示器帶有這條消息：「這個DAG在網絡服務器DagBag對象中不可用，它出現在這個列表中，因爲調度器將它標記爲metdata數據庫「標記與DAG標題之前，我觸發了所有這些手動過程。

來源

2017-01-10 santi

嘗試重新啓動氣流Web服務器。如果這無助於在開始和結束的同一日期嘗試執行'氣流回填''-s''-e'''。這應該運行一次工作流並更正UI問題。此設置仍然會出現 –

問題是因爲默認情況下，DAG被放在DagBag在暫停狀態，以便調度不淹沒大量回填活動上啓動/重新啓動。

要解決這一變化的下方設置在airflow.cfg文件：

# Are DAGs paused by default at creation 
dags_are_paused_at_creation = False

希望這有助於。乾杯!

來源

2017-02-17 07:18:01

問題 – hoju

這不是你，也不是正確或預期的行爲。這是Airflow的一個當前'錯誤'。 Web服務器緩存DagBag的方式無法像預期的那樣真正使用它。

德米特里在他的評論中暗示的是現在恐怕你能做的事情。此後，您可能會得到Priyank指出的（非）組織，但這是預期的行爲（狀態：暫停或不），具體取決於您在安裝中的配置。

從官方TODO作爲路線圖的一部分：

嘗試刪除DagBag緩存Web服務器

來源

2017-05-12 17:40:53 Guille

Airflow「此DAG不在網絡服務器DagBag對象中」

回答

相關問題