配置單元中的數據性能問題

Question

目前我面臨數據性能不佳的問題。 例如。 hive表中的數據， 列：country，state，customer_name

列狀態中存在拼寫錯誤。 （即）TN但輸入TM

請幫助我如何通過清除壞數據來克服這個問題。

Answer 1

我推薦將數據加載到臨時表，然後負載交叉驗證主表：數據狀態表等（SELECT * FROM其中State存在於temp_tbl（從STATE_TBL選擇「d」，其中parent.state =狀態）

這種方式程序不會失敗並將錯誤捕獲到其他記錄或文件中。