使用火花引擎進行hive查詢執行

Question

我在ubuntu 16.04系統中設置了HADOOP 2.7.2，HIVE 2.1，SCALA 2.11.8和SPARK 2.0。

Hadoop，配置單元和火花正常運行。我可以連接到配置單元cli，並且可以在沒有任何問題的情況下使用map-reduce。

我必須改善我的配置單元查詢性能的order by子句。

我只能使用Hive cli，並且無法使用spark-shell。

我試圖用火花作爲蜂巢

查詢執行引擎我下面按本link說明，我設置一些屬性在蜂巢爲：

set hive.execution.engine=spark; 
set spark.home=/usr/local/spark 
set spark.master=spark://ip:7077 

我執行的查詢作爲

select count(*) from table_name; 

則引發此異常：

未能創建火花客戶端。

我增加了配置單元客戶端連接的超時時間。但是，它沒有用。

Answer 1

首先，我建議你使用的shell，然後按照下面的步驟：

spark-shell --master yarn-client --driver-memory 512m --executor-memory 512m 

而且你可以運行：

import org.apache.spark.sql.hive.orc._ 
import org.apache.spark.sql._ 
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc) 
hiveContext.sql("create table myTable (myField STRING) stored as orc") 

如果這個工程，你可以做另一個查詢SQL與hiveContext