2015-08-08 179 views
0

從sqoop文檔中可以看出,Sqoop可以用於將數據導入到Hive並使用動態分區。但是找不到任何示例。有沒有人試過。使用Sqoop導入的動態分區

的Sqoop HCatalog特徵支持以下類型的表:

  • 具有靜態分區鍵分區表指定
  • 與動態分區鍵分區表從數據庫結果集
    1. 未分區表使用靜態密鑰和附加動態分區鍵組合分區表格

    我在尋找選項#3。

    在此先感謝。

  • 回答

    0

    我猜Sqoop文檔是滯後的。 Hadoop生態系統中常見的特性是在版本X中引入了功能,並在版本X + 1中進行了記錄。

    另一方面,這是一個暴露在Sqoop中的HCatalog功能,爲什麼不檢查條目「Dynamic Partitioning」下的HCatalog文檔?
    ;-)

    +0

    我正在尋找使用Sqoop(動態分區)將數據從Oracle導入分區Hive表。我無法在提到的鏈接中找到它。 :( – InfamousCoconut

    +0

    一方面,Sqoop基於(猜測)PK範圍以粗略分佈的方式從Oracle導入數據;另一方面,Sqoop將每批次推送給Hive - 但它是** Hive **負責在適當的分區中調度記錄,而不是Sqoop。底線:分別配置每一側。 –