metastore

0熱度

1回答

我在使用mySQL將macOS 10.12.3上的本地開發環境升級到Hive時遇到了一些問題，因爲之前我使用了本地德比Metastore。每當我開始蜂巢，我得到以下異常： Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lan

1熱度

1回答

使用Spark 2.2.0從Hive metastore 2.x讀取

在版本2.2.0之前，Spark無法與Hive 2.X通信，所以我被Hive 1 + Spark 1/2卡住了。對於我讀兩種： https://issues.apache.org/jira/browse/SPARK-18112 https://spark.apache.org/releases/spark-release-2-2-0.html 現在可以使用星火2 +蜂巢2，但我還是遇到了一些問題。

1熱度

2回答

Spark SQL是否使用Hive Metastore？

我是Spark新手。我正在開發一個Spark-SQL應用程序;我的問題是：我讀過Spark-SQL在封面下使用Hive Metastore？這是真的？我正在談論一個純粹的Spark-SQL應用程序，它沒有明確地連接到任何Hive安裝。我正在啓動一個Spark-SQL應用程序，並且不需要使用Hive。有沒有任何理由使用Hive？據我所知，Spark-SQL比Hive快得多;所以，我沒有看到有任何

5熱度

1回答

Hive Metastore列寬限制

在5.2.1版本上使用AWS EMR作爲數據處理環境時，在處理具有複雜模式和大量嵌套字段的巨大JSON文件時，Hive無法處理它，它達到4000個字符列長度的當前限制。 Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTas

0熱度

1回答

在星火

HIVE Metastore警告當啓動火花殼我經常收到這樣的警告 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0 WARN ObjectSto

1熱度

1回答

啓動spark-shell時出現異常：從數據存儲中獲取模式列信息的異常

我正在使用Spark 2.1.1。使用mysql作爲metastore的後端。在我的火花外殼的起點，我會遇到這樣的例外： 17/10/17 21:02:58 WARN Query: Query for candidates of org.apache.hadoop.hive.metastore.model.MTableColumnStatistics and subclasses resulte

1熱度

2回答

星火：無法從蜂巢表中讀取數據

我創建了一個Maven項目作爲pom.xml <spark.version>1.3.0</spark.version> <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>${

0熱度

1回答

蜂巢Accumulo集成

的樣子，我不知道爲什麼有細胞水平能見度不支持。有什麼想法嗎？

0熱度

1回答

蜂巢DROP TABLE從MYSQL metstarore TBLS表

在蜂房，如何從MYSQL metstarore TBLS表

1熱度

1回答

Spark和Metastore關係

我知道的一個事實，即蜂巢Metastore用於存儲我們在HIVE創建但爲什麼電火花所需要Metastore表的元數據，什麼是Metastore之間的默認關係和Spark 不metasore正在被spark SQL使用，如果是的話，這是爲了存儲數據框元數據？爲什麼默認情況下spark會檢查Metastore連接，即使iam不使用任何sql庫？