Sqoop一次導入所有表主鍵和非主鍵表

Question

我們可以使用sqoop導入表，每次有主鍵和非主鍵。例如，我在數據庫中創建200個主鍵表和200個非主鍵鍵表。我們可以一次導入400張表嗎？

Answer 1

是的，您可以將標記--m 1添加到所有表格的導入命令中（包括主鍵的200個和沒有它的200個）。 通過添加此選項，Sqoop將只使用一個映射來檢索表中的所有數據，因此您的命令看起來就像是這樣的：

sqoop import-all-tables --connect your-database --username user --password pwd --m 1 

Answer 2

除了傑米的答案：

你可以在您的sqoop import-all-tables...命令中添加--autoreset-to-one-mapper標記。

假設您在您的命令中使用了8個映射器（-m 8）。然後使用帶有主鍵的上述標籤表將根據映射器和表的數量分割，而不使用主鍵將使用1個映射器加載。

因此，整體上你的效率會提高。

查看第一點sqoop documentation的詳細信息。