如何爲sparkR運行R腳本？

Question

我從終端運行sparkR 2.0.0，我可以運行R命令。但是，如何創建.r腳本並能夠在spark會話中運行它。

Answer 1

SparkR使用標準的R解釋器，因此適用相同的規則。如果要在當前會話中執行外部腳本，請使用source函數。

## Welcome to 
## ____    __ 
## /__/__ ___ _____/ /__ 
## _\ \/ _ \/ _ `/ __/ '_/ 
## /___/ .__/\_,_/_/ /_/\_\ version 2.1.0-SNAPSHOT 
## /_/ 
## 
## 
## SparkSession available as 'spark'. 
> sink("test.R") 
> cat("print(head(createDataFrame(mtcars)))") 
> sink() 
> source("test.R") 
## mpg cyl disp hp drat wt qsec vs am gear carb 
## 1 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4 
## 2 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4 
## 3 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1 
## 4 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1 
## 5 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2 
## 6 18.1 6 225 105 2.76 3.460 20.22 1 0 3 1 

如果要提交現有SparkR會議，你應該初始化腳本本身需要上下文之外的獨立腳本。之後，您可以使用SPARK_HOME/bin/spark-submit（首選選項）或甚至Rscript執行它。