針對多個密鑰的星火獸獸分區策略

Question

存儲事務時，通常會有幾個不同的密鑰用於過濾不同用例的查詢。例如。卡ID，帳號，客戶沒有，日期

該交易可以按日期進行分配爲：

jdbcDF.write.format("orc").partitionBy("TX_Date").save("transactions") 

現在我可以爲特定的幾個月迅速聚集交易，但如果我想要聚合的交易基礎在例如客戶沒有？

將事務ID存儲在每個事務行中，並保存由最常見的密鑰分區的單獨查找表（鏈接表）是否更好？ 例如以下查找表：

卡ID | TransID

客戶編號| TransID

帳號| TransID

TX_Date | TransID

這是一個反模式的火花& orc開發還是有更好的方法來「索引」不同的鍵？從docs（在ORC-文件我已使用行索引）

Answer 1

：

索引是一個數據結構，其包括每列內，用於每列的最低和最高值和行位置

ORC是一種列式文件格式，它不以SQL的方式索引。 partitionBy控制數據的位置或文件的分割方式。

通過選擇不同的partitionBy鍵確保行均勻分佈在文件中，並運行測試以確認您做了正確的選擇。