蜂巢2.1不能不正確評估NULL地圖

Question

我正試圖找到解決方案來檢查Hive 2.1中的NULL地圖。當我檢查地圖內的鍵時，我會得到正確的結果。這裏就是我試圖評估，也是結果：

hive> select request_params, request_params is null, request_params['id'], request_params['id'] is null from dcs_log_pday_s3 where pday='2016-11-24' and hour='00' and pid=1124 limit 10; 
OK 
{"id":"EAED7055-7003-4A11-8494-CF1079EF24","et%3Aivs%7Cdata%3Ad":"1966"} false EAED7055-7003-4A11-8494-CF1079EF24 false 
NULL false NULL true 
NULL false NULL true 
NULL false NULL true 
NULL false NULL true 
NULL false NULL true 
NULL false NULL true 
NULL false NULL true 
NULL false NULL true 
{"id":"97EBD924-C45C-4A93-AAEF-57595005","et%3Aibs%7Cdata%3Ad":"1966"} false 97EBD924-C45C-4A93-AAEF-57595005 false 
Time taken: 0.095 seconds, Fetched: 10 row(s) 

不過，我還沒有老版本的蜂巢（例如，在蜂巢1.1）同樣的問題：

hive> select request_params, request_params is null from dcs_log_pday_s3 where 
pday='2016-11-24' and hour='00' and pid=1124 limit 10; 
Query ID = keystone_20161126000606_0a8caadd-ec27-4a92-96a9-5e7b0b95f318 
... 
Total MapReduce CPU Time Spent: 1 minutes 2 seconds 750 msec 
OK 
{"id":"3AFCDA87-BAE5-4EEA-9B47-61BA2B4D0BC8","et%3Aibs%7Cdata%3Ad":"1966"} false 
NULL true 
NULL true 
NULL true 
NULL true 
NULL true 
NULL true 
NULL true 
{"id":"8D0F1D5F-57E7-4127-94C0-C1FD4F98D6E8","et%3Aibs%7Cdata%3Ad":"1966"} false 

我可以請添加我在AWS EMR 5.2上運行的第一個查詢，第二個查詢在本地CDH5.4羣集上運行。

有人能給我一些見解嗎？

Answer 1

我已經通過使用UDF大小找到了解決此問題的方法。它看起來像在評估NULL時返回-1。 （https://github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/udf/generic/GenericUDFSize.java#L74）

這裏有一個運行的查詢：

hive> select size(null) from emr_output limit1; 
OK 
-1