有人可以解釋一下：「Spark SQL支持與Hive不同的用例。」

Question

我指的是以下鏈接：Hive Support for Spark

它說：「星火SQL支持不同的使用情況比蜂巢」

我不確定爲什麼會這樣。這是否意味着作爲Hive用戶我不能通過Spark SQL使用Spark執行引擎？

一些問題：

• 星火SQL使用蜂巢查詢分析器。所以它會理想地支持所有的Hive功能。
• 它會使用Hive Metastore嗎？
• Will Hive會使用Spark優化器還是會構建自己的優化器？
• Will Hive會將MR作業轉換爲Spark嗎？或者使用其他範例？

Answer 1

Spark SQL旨在允許在Spark的機器學習庫上使用SQL表達式。它允許您將SQL用作工具（等等）來構建高級分析（例如ML）應用程序。它不是Hive的直接替代品，這對於批處理/ ETL來說是最好的選擇。

但是，也有上行工作可以讓Spark作爲Hive的通用數據處理後端。該工作可以讓您充分利用Spark for Hive專用的用例。