使用sqoop從多個數據庫導入數據

Question

我想從多個SQLsever數據庫（100+）使用sqoop導入HDFS的某些表。有人可以指導我如何去做？一個自動化腳本將會很好。

Answer 1

這可以通過shell腳本完成。

1）準備一個輸入文件，其中包含DBNAME列表.TABLENAME 2）shell腳本將該文件作爲輸入，逐行迭代併爲每行執行sqoop語句。

while read line; 
do 

    DBNAME=`echo $line | cut -d'.' -f1` 
    tableName=`echo $line | cut -d'.' -f2` 


    sqoop import -Dmapreduce.job.queuename=$RM_QUEUE_NAME --connect '$JDBC_URL;databaseName=$DBNAME;username=$USERNAME;password=$PASSWORD' --table $tableName --target-dir $DATA_COLLECTOR/$tableName --fields-terminated-by '\001' -m 1 

done<inputFile