Sqoop導出分區的Hive表

Question

我有一個Hive表，分區爲year和week列。所以內容存儲在Hive倉庫中的多個遞歸目錄中，在我的情況下，我有超過100多個目錄（分區）用於此表。

在這裏，我不知道如何將配置單表的目錄詳細信息提及sqoop-export命令的--export-dir屬性。

我必須單獨提及單獨的sqoop-export命令中的所有100 *目錄嗎？有沒有什麼辦法可以提到單個sqoop-export命令中的所有嵌套目錄？

請讓我知道是否還有其他更好的方法來解決這個問題？

[注：我沒有Hcatalog在我的環境，我只是想喜歡「出口到HDFS目錄」作爲我的最後一個選項]

Answer 1

嘗試使用所有分區創建一個外部表，並使用sqoop導出中外部表的目錄。

1）PART_TABLE（分區表）;

2）創建EXTER表XX_DUMMY （） 位置

3）插入覆蓋XX_DUMMY如SELECT * FROM PART_TABLE

4）運行Sqoop出口

或者

嘗試出口-dir/user/name/*

Answer 2

您是否嘗試過以下方法？蜂巢場的

--hive分區鍵名稱劃分上

--hive分區值的字符串值作爲分區鍵此導入蜂房這項工作分片。