directed-acyclic-graphs

2熱度

1回答

有一個簡單的，也許怪異問題執行兩次：以下代碼DAG執行兩次預計，因爲我打電話的動作兩次： val input = sc.parallelize(List(1,2,3,4)) val result = input.map(x => { println("!!! Input Map !!!") errorLines.add(1) (x,1) }) //.reduce

0熱度

1回答

氣流1分鐘後殺死我的任務

我有一個非常簡單的DAG有兩個任務，如下列： default_args = { 'owner': 'me', 'start_date': dt.datetime.today(), 'retries': 0, 'retry_delay': dt.timedelta(minutes=1) } dag = DAG( 'test DAG',

1熱度

2回答

Dijkstra的算法 - 只有負成本的DAG最短路徑

我正在尋找非循環有向圖中源（s）和sink（t）之間的最短路徑。該圖具有拓撲順序（時間）。所有的邊都有或者爲負或者爲零。是否仍有可能使用Dijkstra算法？該圖如下所示：graph example 通常，Dijkstra不支持負權重，因爲節點只探索一次（假設成本只能增加）。在這種情況下，由於我只有負值（或零值成本），並且成本只能降低，所以如果我按照拓撲順序瀏覽圖，可以確保路徑是最優的？謝

1熱度

1回答

瞭解風暴拓撲可視化

我正在嘗試使用Apache Storm 1.0.2來處理源自Kafka Spout的數據流。我試圖使用風暴UI的一部分風暴拓撲可視化來了解管道的性能。基於在下面的鏈接提供的解釋，我的可視化的理解是這樣的：越厚螺栓之間的線路（或噴口到螺栓）被組件之間發送的多個業務如果顏色接近紅色，則螺栓/出料口的容量會更高。如果有大容量的組件，它們可能會被證明是管道中的瓶頸。但是，我無法找到關於可視化中組件

0熱度

1回答

氣流dag bash任務滯後於遠程執行

我正在嘗試使用Airflow來替換我們現有的cron編排，並且所有內容都看起來很有希望。我已經成功安裝並獲得了一份計劃和執行的數據，但是我注意到他們在我指定的每項任務（至少15分鐘到60分鐘）之間存在顯着的延遲。我的DAG定義如下我缺少的東西，使他們在其他以後運行一個吧？我不使用芹菜兩個調度器和Web服務器在同一主機上運行，並且是 - 需要調用一個遠程執行（某種形式的地方，直到然後在工作

0熱度

1回答

我們可以對TEZ中生成的DAG計劃實施自定義的DAG計劃嗎？如果可能，如何？

而不是使用TEZ在Hive中生成的DAG計劃，我想使用由我創建的自定義DAG計劃。可能嗎？如果是，任何人都可以解釋嗎？

0熱度

1回答

使用Javascript繪製DAG工具

我是新手...有人能指導我使用任何工具繪製Aciclic定向圖嗎？我需要一個工具，獲取作爲輸入json文件並繪製dags。我正在使用Spring MVC構建我的應用程序。

1熱度

1回答

找到多棵樹內的最佳路徑（多層多個節點）

問題是在多層次的多個節點內找到最佳路徑（最低成本/高分）。換句話說，在共享相同節點的多個樹中。例如如所見in the picture; 每個級別都有幾個節點。這些連接與邊緣（每邊也有距離值，但可能不會使用）。並且每條路徑都有來自邊緣值的分數值。得分是路徑的聯合概率。所以我們的目標是找到這些層之間的最佳路徑。數據如下所示; （第一級節點，第2級的節點，第3級的節點...）：得分（1，1，1）

0熱度

1回答

可以在不重新啓動調度程序的情況下，使氣流加載dag文件

在我的情況下，我在dags路徑下編寫了一個dag文件。啓動氣流調度程序後，它成功加載了dag文件。但是，它改變了dag文件後加載了dag文件。有沒有建議在沒有重啓調度程序的情況下使用dag文件？

2熱度

1回答

我如何觸發氣流-dag使用TriggerDagRunOperator

我發現下面的鏈接： https://www.linkedin.com/pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand 這的確說明了如何使用TriggerDagRunOperator來執行不同的氣流DAG。文檔使用了Airflow自己的示例dags，但我很難理解那些因爲他們沒有使用任何傳感器。有人可以解釋如何使用Trigge