使用Apache Spark在斯卡拉的IntelliJ工作表

我嘗試使用Scala 2.10.5中的IntelliJ 2016.3使用最新的Scala-插件運行Apache 1.6.3星火。該項目是一個maven項目。使用Apache Spark在斯卡拉的IntelliJ工作表

如果我嘗試使用創建一個新的SparkContext：

val sparkConf = new SparkConf() 
val sc = new SparkContext(sparkConf.setAppName("Spark-Scala-Demo").setMaster("local[*]"))

我得到

17/01/16 14:05:28 ERROR SparkContext: Error initializing SparkContext. 
java.lang.ClassNotFoundException: org.apache.spark.rpc.netty.NettyRpcEnvFactory 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424) 
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:348) 
    at org.apache.spark.util.Utils$.classForName(Utils.scala:175) 
    at org.apache.spark.rpc.RpcEnv$.getRpcEnvFactory(RpcEnv.scala:41)

的代碼運行正常都在IntelliJs階控制檯，以及在一個普通的類定義水管─方法。

那麼，什麼是在斯卡拉工作有什麼不同？

來源

2017-01-16 Raphael Roth