Spark斯卡拉錯誤

Question

嘿我試圖使用斯卡拉火花。如果你正在使用Scala的，那麼就不要創建JavaSparkContextmissing parameter type

謝謝

Answer 1

object d29 { 
def main(args: Array[String]){ 
val name : String ="myspark" 
val master : String ="local[1]" 
val conf : SparkConf = new SparkConf().setAppName(name).setMaster(master) 
val spContext = new SparkContext(conf) 
val file = spContext.textFile("zed/text.csv") 
val mapped = file.map(s=>s.length) 
} 

}

JavaSparkContext是SparkContext的Java包裝。既然你使用Scala，不需要包裝。

Answer 2

：當我嘗試此代碼

object d29 { 
    def main(args: Array[String]){ 
    val name : String ="myspark" 
    val master : String ="local[1]" 
    val conf : SparkConf = new SparkConf().setAppName(name).setMaster(master) 
    val spContext : JavaSparkContext = new JavaSparkContext(conf) 
    val file = spContext.textFile("zed/text.csv") 
    val mapped = file.map(s=>s.length) 
    } 
} 

我得到這個錯誤爲氏。改爲使用SparkContext：

val spContext: SparkContext = new SparkContext(conf) 

然後您的代碼將工作。

如果您使用的是Spark 2，請使用新的SparkSession而不是SparkContext。