2016-03-07 73 views
2

我嘗試在使用Cygwin的Windows上運行spark-1.5.1-bin-hadoop2.6發行版(以及具有相同結果的Spark的新版本)。
當試圖在bin文件夾執行火花shell腳本,我得到以下的輸出: 錯誤:無法找到或加載主類org.apache.spark.launcher.MainHadoop發行版的Apache Spark無法在Windows上運行

我試圖CLASSPATH設置爲lib/spark-assembly-1.5.1-hadoop2.6.0.jar的位置,但無濟於事。

(FYI:我能,無需額外的設置步驟,在我的Mac上運行相同的分佈罰款)

請協助尋找分辨率在Windows Cygwin的執行。

回答

3

我遇到並解決了與Windows 10和spark-1.6.0上的cywin類似的問題。

  1. 用Maven構建(也許你過去的這一步)

    MVN -DskipTests包

  2. 確保JAVA_HOME設置爲JDK

    $ JAVA_HOME出口=「C :\ Program Files \ Java \ jdk1.8.0_60「

    $ ls」$ JAVA_HOME「

倉包括LICENSE THIRDPARTYLICENSEREADME.txt ....

  • 使用Windows批處理文件。如果您有cygwin的終端問題,請從PowerShell或CommandPrompt啓動。

    $搭配chmod A + X斌/火花shell.cmd

    $ ./bin/spark-shell.cmd

  • +0

    對於Spark 2.0我也適用,很容易忘記Cygwin/MINGW64控制檯中的bat文件。 – NikoNyrh

    0

    我對這個問題的解決辦法是星火安裝移動到路徑中沒有空格。在Program Files我得到了上述錯誤,但直接將它移動到C:\下並且正在運行spark-shell.bat文件將其清除。