我想搭建一個大數據平臺來接收和存儲Hadoop中的大量異構數據(如文檔,視頻,圖像,傳感器數據,等等)然後執行分類過程。 那麼什麼架構可以爲我目前使用的幫我 的VMware vSphere EXSi Hadoop的
Habse 節儉 XAMPP 所有這些工作正常,但我不知道如何來接收數據和大量如何存儲數據是因爲我發現Hbase是一個面向列的數據庫,它不是數據倉庫。如何搭建一個大數據平臺,接收和存儲Hadoop中的大數據
0
A
回答
1
你必須定製爲大數據的類型的解決方案(結構化,半結構化和非結構化)
可以使用HIVE/HBASE用於結構化的數據,如果總數據大小< = 10 TB
您可以使用SQOOP從傳統的RDBMS數據庫Oracle,SQL服務器等
導入結構化數據可以使用水槽處理ü n結構化數據。
您可以使用內容管理系統處理非結構化數據&半結構化數據 - Tera或Peta字節的數據。如果您要存儲非結構化數據,我寧願將數據存儲在CMS中,並在NoSQL數據庫中使用元數據信息,如HBASE
要處理大數據流,您可以使用PIG。
看一看Structured Data和Un-Structured data Hadoop中
處理相關問題
- 1. hadoop中的巨大文件:如何存儲元數據?
- 2. WP7數據存儲 - 大量數據
- 3. 如何存儲大部分空數據?
- 4. 存儲大量數據點?
- 5. 存儲大數據python
- 6. 存儲串大數據
- 7. 如何創建一個在後臺運行的藍牙服務並保存數據庫中的接收數據
- 8. 存儲和查詢大量數據
- 9. 大數據 - 存儲和查詢
- 10. 存儲和搜索大數據集
- 11. 如何存儲和SQLite數據庫中的大型文本數據?
- 12. perl和巨大的數據庫,如何搜索和存儲?
- 13. 不同的數據存儲大小和數據配額
- 14. 我如何向Google數據存儲插入大量數據?
- 15. 如何在php中創建一個文件和數據存儲?
- 16. 發送和接收的數據是不一樣的大小
- 17. 將條目存儲在一個非常大的數據庫中
- 18. 如何在內存中存儲大量的文本數據?
- 19. 在ASP.NET中存儲大量數據
- 20. 在MySQL中存儲大量數據?
- 21. 在localStorage中存儲大量數據
- 22. 在android中存儲大量數據
- 23. 用於存儲應用程序數據的跨平臺數據存儲?
- 24. 如何存儲和加載巨大的圖像數據集?
- 25. 大數據 - Lambda架構和存儲原始數據
- 26. 如何在Java中增加接收的JSON數據大小?
- 27. 第一個接收數據包的Perl大小
- 28. 問題在創建連接到hadoop在talend大數據
- 29. Java巨大的數據存儲
- 30. html5存儲大於50 MB的數據?