在Windows 10中設置Spark 10

Question

任何人都可以建議我一個很好的教程，在我的機器上設置火花，它正在遠程訪問安裝了hadoop的其他機器。

Answer 1

您需要的是客戶端設置。您計劃連接的hadoop發行版可能在其文檔中有一個客戶端設置。像MapR一樣有mapr-client。

一旦到位，遵循任何這些設置火花，

How to set up Spark on Windows?

Running apache Spark on windows

http://www.ics.uci.edu/~shantas/Install_Spark_on_Windows10.pdf

讓我知道，如果這有助於。乾杯。

Answer 2

我建議你在Windows上使用IntelliJ IDEA開發Spark。創建一個SBT項目，您可以在其上覆制構建文件上的下一個代碼，它將爲您下載所有的依賴關係。

version := "1.0" 
scalaVersion := "2.10.6" 
// grading libraries 
libraryDependencies += "junit" % "junit" % "4.10" % "test" 

libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % "1.6.3", 
    "org.apache.spark" %% "spark-sql" % "1.6.3", 
    "org.apache.spark" %% "spark-hive" % "1.6.3" 
) 

libraryDependencies ++= Seq(
    "org.apache.commons" % "commons-csv" % "1.4", 
    "joda-time" % "joda-time" % "2.9.9", 
    "com.univocity" % "univocity-parsers" % "1.5.1" 
) 
libraryDependencies +="com.databricks" %% "spark-csv" % "1.5.0" 

之後，創建一個scala對象，並開始開發。它主要用於Spark的本地開發。讀取或寫入文件時請注意路徑。