org.apache.spark.sql.AnalysisException：無法解析給定輸入列的'ph.pharmacy_id'：[];第1行pos

Question

我在蜂巢中有一個名爲PHAR的表。 當我試圖通過spark-submit（Spark版本1.6）創建一個視圖/表時，我得到了下面的錯誤。 查詢在配置單元/直線外殼中運行良好。

User class threw exception: org.apache.spark.sql.AnalysisException: cannot resolve 'ph.pharmacy_id' given input columns: []; line 1 pos 

描述來看這將導致錯誤：

create view if not exists V_TMP as 
select ph.pharmacy_id 
,  ph.pharmacy_nm 
,  ph.pharmacy_addr_line_1_txt 
,  ph.pharmacy_addr_line_2_txt 
,  ph.pharmacy_addr_line_3_txt 
,  ph.pharmacy_addr_line_4_txt --optional 
from PHAR ph ; 

表說明：

hive> desc PHAR ; 
+---------------------------+---------------+----------+--+ 
|   col_name   | data_type | comment | 
+---------------------------+---------------+----------+--+ 
| pharmacy_id    | varchar(510) |   | 
| pharmacy_nm    | varchar(205) |   | 
| pharmacy_addr_line_1_txt | varchar(200) |   | 
| pharmacy_addr_line_2_txt | varchar(50) |   | 
| pharmacy_addr_line_3_txt | varchar(50) |   | 
| pharmacy_addr_line_4_txt | varchar(50) |   | 
+---------------------------+---------------+----------+--+ 

Answer 1

我意識到，在查詢開始評論 「 - 」。 儘管它看起來不適用於查詢中的下一行，但spark-sql在一行中解析整個sql文本。所以之後的任何事情，甚至在下一行都會被視爲評論。 我刪除了評論和解決問題的有效的查詢是：

create view if not exists V_TMP as 
select ph.pharmacy_id 
,  ph.pharmacy_nm 
,  ph.pharmacy_addr_line_1_txt 
,  ph.pharmacy_addr_line_2_txt 
,  ph.pharmacy_addr_line_3_txt 
,  ph.pharmacy_addr_line_4_txt 
from PHAR ph ;