Sqoop - 自定義水槽

Question

我希望能夠使用Sqoop將數據導入到自定義Hadoop數據存儲中。這將相當於從任意結構化數據庫（MySql，Netezza等）導入我自己的自定義數據存儲（在本例中，相當於Hive）

任何用於創建此自定義接收器並與Scoop集成的指針？

Answer 1

我認爲不支持使用sqoop創建自定義接收器。但是您可以使用水槽和水槽創建自定義接收器，並且可以從數據源加載。

順便說一下，什麼是自定義Hadoop數據存儲？它存儲的格式和hadoop有何不同。

我建議您使用flume-ng-sql-source flume插件，然後將數據導入到您的自定義接收器。

以下鏈接可能會幫助您使用flume-ng-sql-source。

https://www.toadworld.com/platforms/oracle/w/wiki/11114.streaming-mysql-database-table-data-to-hdfs-with-flume

https://github.com/keedio/flume-ng-sql-source

要編寫自定義接收遵循custom sink docs。自定義源代碼位於相同的文檔中。