我在我的程序中有一個長時間的迭代,我想緩存和檢查點每隔幾次迭代(這種技術建議在網上削減長沿襲),所以我不會有StackOverflowError,通過這樣做 for (i <- 2 to 100) {
//cache and checkpoint ever 30 iterations
if (i % 30 == 0) {
graph.cache
gr
我認爲有可能是一個簡單的解決這個,如果有人知道如何遍歷基於文件名的一組文件和輸出值的我想知道在斯卡拉創造價值,通過文件迭代。 我的問題是,我想在一組每個月圖中邊閱讀,然後創建一個單獨的月度圖表。 目前我這個做了很長的路要走,這是罰款,做一年價值,但我想一個方法來自動執行它。 你可以看到我的代碼,低於該希望清楚地表明我在做什麼。 //Load vertex data
val vertices= (
我是Apache GraphX的新手,我想看看我能否在graphX中進行圖合併/合併。 我想要做的是說我有2個圖表如下
graph1: A —1—> B —1—> C —1—> D
|
—1—> E —1—> F
graph2: A —1—> B —1—> C
|
—1—> G
,我想合併/合併導致像
merge resu
我在運行下面的代碼以在Spark graphX中創建圖形時出錯。我通過以下命令運行它通過火花殼: ./bin/spark-shell -i ex.scala 輸入: My Vertex File looks like this (each line is a vertex of strings):
word1,word2,word3
word1,word2,word3
...
My Edg