我正在尋找將數據移動到HDFS系統的方法,想知道Apache Sqoop是否可用於從外部REST服務中提取/提取數據?使用Sqoop將數據加載到HDFS
1
A
回答
0
從http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html
Sqoop是被設計爲Hadoop和關係數據庫之間傳輸數據的一種工具。您可以使用Sqoop將關係數據庫管理系統(RDBMS)(如MySQL或Oracle)的數據導入Hadoop分佈式文件系統(HDFS),轉換Hadoop MapReduce中的數據,然後將數據導出回RDBMS。
因此它不支持從REST服務導入數據。
1
我最喜歡的方式,從REST服務提取數據:
捲曲的http:// | hdfs -put -/my/hdfs/directory
相關問題
- 1. 使用sqoop將多張表加載到hdfs中一次使用
- 2. 使用sqoop(1.4.5)將mysql數據導入到hdfs(hadoop 2.4.1)
- 3. 加載數據到HDFS
- 4. 使用Sqoop將Oracle數據加載到Hadoop中
- 5. 使用flume將Oracle 11g數據加載到HDFS
- 6. 使用Sqoop將數據從mysql導入HDFS
- 7. 使用shell腳本從teradata到hdfs的sqoop數據
- 8. 使用Sqoop獲取RDBMS更新到HDFS
- 9. 使用Sqoop從MongoDB中提取數據以寫入HDFS?
- 10. 增量更新使用SQOOP將數據追加到表
- 11. 從本地hdfs將數據加載到本地SparkR
- 12. 從HDFS將數據加載到Hive上Azure Hdinsight時出錯
- 13. 無法將數據從HDFS加載到Hadoop中的Hive
- 14. 如何將數據從hdfs加載到hbase?
- 15. 如何加載將PostgresSQL中的數據逐步遷移到HDFS?
- 16. 如何通過sqoop將數據從sql server導入hdfs
- 17. 使用從HDFS到MYSQL的Sqoop傳輸數據時無法完成MR
- 18. 將數據加載到使用AJAX
- 19. 使用Sqoop/Hive,如何使用其他數據將外鍵信息保存到HDFS中?
- 20. HDFS:使用HDFS API附加到SequenceFile
- 21. Sqoop從Mysql導入到Hadoop hdfs使用Java
- 22. 從ES加載數據並使用pig存儲爲HDro HDFS
- 23. 如何使用SparkR從HDFS加載數據?
- 24. 使用python API將數據加載到BigQuery vs bq加載
- 25. 使用sqoop將配置單元數據導出到oracle
- 26. 使用sqoop將數據從Mysql導入到Hbase時出錯
- 27. 無法使用Sqoop將數據從Vertica導入到Cassandra
- 28. 使用Apache Sqoop將數據從MySQL導入到MySQL
- 29. 使用Sqoop將數據從Redshift導入到Hive
- 30. 如何將加密數據寫入HDFS