Presto/Athena - 查詢發現JSON屬性頻率？

Question

我已經定義了一個蜂巢表，其中一列包含JSON文本：

CREATE EXTERNAL TABLE IF NOT EXISTS my.rawdata (
    json string 
) 
PARTITIONED BY (dt string) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES (
    'separatorChar' = '\n', 
    'quoteChar' = '\0', 
    'escapeChar' = '\r' 
) 
STORED AS TEXTFILE 
LOCATION 's3://mydata/'; 

是否有普雷斯托/雅典娜查詢可以列出了JSON內發生的所有字段名和它們的頻率（即總數該屬性出現在表中）？

Answer 1

使用JSON函數解析JSON並將其轉換爲地圖。然後提取他們的密鑰和unnest。最後，使用正常的SQL聚集：

SELECT key, count(*) 
FROM (
    SELECT map_keys(cast(json_parse(json) AS map(varchar, json))) AS keys 
    FROM rawdata 
) 
CROSS JOIN UNNEST (keys) AS t (key) 
GROUP BY key 

Answer 2

• 支持多層次的文件
• 忽略嵌套元素

---

select key 
     ,count(*) 
from  t cross join 
      unnest (regexp_extract_all(json,'"([^"]+)"\s*:\s*("[^"]+"|[^,{}]+)',1)) u (key) 
group by key 
;