在一些星火代碼得到HiveContext,我已經看到了程序員使用這樣的代碼來創建SparkContext如何從JavaSparkContext
SparkSession session = SparkSession
.builder()
.appName("Spark Hive Example")
.config("spark.sql.warehouse.dir", warehouseLocation)
.enableHiveSupport()
.getOrCreate();
但我一直使用這種類型的代碼來創建JavaSparkContext。
從代碼的後半部分,有什麼辦法可以讓我得到一個Hive上下文在Hive表上執行操作?
謝謝!
此外,使用SparkSession,我不能使用parallelize()方法。任何選擇?我似乎無法理解何時使用SparkSession和JavaSparkContext。 Apache Spark的Java編程指南根據需要使用兩者。 http://spark.apache.org/docs/latest/rdd-programming-guide.html –