傳遞列表到sc.text文件-scala-

Question

我正在尋找如何將路徑列表傳遞到sc.textFile（在斯卡拉），而不使用foreach。

例子：

myList :Seq[String] = ArrayBuffer (path1, path2, path3)

有沒有辦法做到：

var data = sc.textFile(myList)

Answer 1

嘗試

var data = sc.textFile(myList.mkstring(",")) 

或者，我們可以看到每一個文本文件，然後union所結果的rdds：

import scala.util.{Try, Success} 

val rdds = myList.flatMap { f => 
    Try(sc.textFile(f)) match { 
    case Success(rdd) => Some(rdd) 
    case _ => None 
    } 
} 
val rdd = sc.union(rdds)