如何將數據從mysql導入Apache Hadoop HDFS安裝。

如何將數據從mysql導入到HDFS。我不能使用sqoop，因爲它不是cloudera而是HDFS安裝。我使用下面的鏈接來設置HDFS。我的hadoop版本是0.20.2 http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/如何將數據從mysql導入Apache Hadoop HDFS安裝。

來源

2012-06-11 Ahmad Osama

我沒有看到什麼阻止你使用Sqoop，因爲它並沒有與Cloudera特定軟件綁定。 –

你能指導我如何配置Sqoop嗎？ –

我能夠通過安裝HIVE並使用HIVE將txt文件導入HDFS來完成此操作。 ..感謝所有 –

除了sqoop，你可以試試hiho。我已經聽到了好消息。（雖然從未使用過）

但大多數我看到的是人們最終編寫自己的流程來做到這一點。如果hiho不解決問題，則可以使用mysqlimport從MySql轉儲數據。然後使用map-reduce作業或Pig/Hive加載到HDFS中。

我聽說Sqoop很不錯，被廣泛使用（這是傳聞，我從來沒有用過它）。現在，it is an apache incubator project，我認爲它可能已經開始支持hadoop的apache發佈，或者至少可能已經使它非痛苦的非cloudera版本。 The doc確實表示它支持Apache hadoop v0.21。試着讓它與你的hadoop版本一起工作。這可能並不困難。

來源

2012-06-11 12:50:52

與您的問題沒有直接關係，但是如果您想將數據庫用作Map Reduce作業的輸入，並且不想複製到HDFS，則可以使用DBInputFormat直接從數據庫輸入數據。

來源

2012-06-11 13:24:54

如何將數據從mysql導入Apache Hadoop HDFS安裝。

回答

相關問題