2015-10-05 32 views
0

我想搭建一個大數據平臺來接收和存儲Hadoop中的大量異構數據(如文檔,視頻,圖像,傳感器數據,等等)然後執行分類過程。 那麼什麼架構可以爲我目前使用的幫我 的VMware vSphere EXSi Hadoop的
Habse 節儉 XAMPP
所有這些工作正常,但我不知道如何來接收數據和大量如何存儲數據是因爲我發現Hbase是一個面向列的數據庫,它不是數據倉庫。如何搭建一個大數據平臺,接收和存儲Hadoop中的大數據

回答

1

你必須定製爲大數據的類型的解決方案(結構化,半結構化和非結構化)

可以使用HIVE/HBASE用於結構化的數據,如果總數據大小< = 10 TB

您可以使用SQOOP從傳統的RDBMS數據庫Oracle,SQL服務器等

導入結構化數據可以使用水槽處理ü n結構化數據。

您可以使用內容管理系統處理非結構化數據&半結構化數據 - Tera或Peta字節的數據。如果您要存儲非結構化數據,我寧願將數據存儲在CMS中,並在NoSQL數據庫中使用元數據信息,如HBASE

要處理大數據流,您可以使用PIG

看一看Structured DataUn-Structured data Hadoop中

Different type of data solutions

處理