Spark獨立模式：以編程方式提交作業

我是Spark的新手，我試圖從我的應用程序提交「快速啓動」作業。我嘗試通過在本地主機上啓動master和slave來模擬獨立模式。Spark獨立模式：以編程方式提交作業

object SimpleApp { 

    def main(args: Array[String]): Unit = { 

    val logFile = "/opt/spark-2.0.0-bin-hadoop2.7/README.md" 
    val conf = new SparkConf().setAppName("SimpleApp") 
    conf.setMaster("spark://10.49.30.77:7077") 
    val sc = new SparkContext(conf) 

    val logData = sc.textFile(logFile,2).cache(); 
    val numAs = logData.filter(line => line.contains("a")).count() 
    val numBs = logData.filter(line => line.contains("b")).count() 
    println("Lines with a: %s , lines with b: %s".format(numAs,numBs)) 

    } 

}

我在我的IDE（IntelliJ）中運行我的Spark應用程序。

看着日誌（在workernode中的日誌），看起來spark沒有找到job class。

16/09/15 17:50:58 INFO MemoryStore: Block broadcast_1_piece0 stored as bytes in memory (estimated size 1912.0 B, free 366.3 MB) 
16/09/15 17:50:58 INFO TorrentBroadcast: Reading broadcast variable 1 took 137 ms 
16/09/15 17:50:58 INFO MemoryStore: Block broadcast_1 stored as values in memory (estimated size 3.1 KB, free 366.3 MB) 
16/09/15 17:50:58 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0) 
java.lang.ClassNotFoundException: SimpleApp$$anonfun$1 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:270)

1.這是否意味着作業資源（類）不會傳輸到從節點？

2.對於獨立模式，我必須使用「spark-submit」CLI提交作業？如果是這樣，如何從應用程序提交火花作業（例如web應用程序）

3.也是無關的問題：我在日誌中看到，DriverProgram啓動一個服務器（端口4040）。這是什麼目的？ DriveProgram是客戶端，它爲什麼啓動這項服務？

16/09/15 17:50:52 INFO SparkEnv: Registering OutputCommitCoordinator 
16/09/15 17:50:53 INFO Utils: Successfully started service 'SparkUI' on port 4040. 
16/09/15 17:50:53 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.49.30.77:4040

來源

2016-09-15 Ashika Umanga Umagiliya

你應當要麼使用setJars方法設置的資源的路徑在SparkConf或從CLI中運行時在與--jars選項命令提供的資源。

來源

2016-09-15 09:17:33 Hokam

Spark獨立模式：以編程方式提交作業

回答

相關問題