2015-02-24 77 views
0

我一直在研究BigData在過去幾個月,並開始做我的第一個五年計劃,這是分析BigData使用MapReduceHDInsightWindows AzureBigData解決方案之間的比較。

我剛來到這個特別的地方混亂,這平臺可以更好地做BigData分析在成本,性能,穩定性等方面,如AmazonOracleIBM等這個問題可能是過於寬泛,但我只是想要得到與Azure HDInsight相比可以區分的基本概念。

簡而言之,HDInsight vs Other BigData SolutionsBigData分析。任何幫助,將不勝感激。

+1

大數據是一個大問題,有多種數據庫可供選擇。每個供應商的產品都有自己的特色和優勢。關於你應該使用什麼,根本沒有單一的答案。另外:您的問題問HDInsight,這是一個Hadoop服務(用於處理數據)。其他解決方案針對攝取數據或檢索數據進行了優化。再次,沒有單一的正確答案你如何選擇。所以...這個問題不適合StackOverflow。 – 2015-02-24 14:31:43

+0

@DavidMakogon也許我可以用錯誤的方式提出問題,但是,你是對的!因爲我沒有意識到其他BigData解決方案,所以我有點卡住了。是的,正如你所說的,這太寬泛無法回答,但每個小技巧都會很棒!謝謝 – Kulasangar 2015-02-24 15:23:30

+1

大數據是一個很大的話題,涵蓋了很多不同的領域。你應該更多地瞭解你想要達到的目標,並圍繞你的問題制定你的問題。在某些情況下,您可能會發現您的問題實際上不符合「大數據」的要求 – datasage 2015-02-24 17:18:36

回答

2

不同的Hadoop分銷商 Distributors 1] 1

您可以在此article

+0

我認爲此圖表已過時。有兩件事情很快就跳出來了:Hortonworks可以輕鬆處理流數據的提取並支持滾動升級。它也可以在Azure上運行,在這裏OP已經做了一些工作。 – MondayMonkey 2016-03-25 19:27:36

+0

是的,我讀得越多,我可以告訴這是來自MapR。它偏向於他們的產品。 – MondayMonkey 2016-03-25 19:29:02

0

一個重要的細節查找有關Microsoft分佈基準的比較是,它不僅是平臺。我同意重要的是要理解你的選擇,但謙虛,我建議你考慮你的(和你的團隊的)技能。

一個平臺可能比另一個平臺更好,但如果您從頭開始,那麼您可能無法實現時間軸,預算甚至完全失敗的目標。

0

結合操作和分析技術 - 使用Hadoop

等新技術的NoSQL,MPP數據庫和Hadoophave出現,以解決大數據的挑戰,實現新類型的產品和服務,由業務交付。

公司利用這兩種系統功能的最常見方式之一是將諸如MongoDB的NoSQL數據庫與Hadoop集成。這種連接可以通過現有的API輕鬆完成,並且允許分析師和數據科學家在保持NoSQL數據庫的效率和易用性的同時,執行復雜的追溯性查詢以進行大數據分析和洞察。 NoSQL,MPP數據庫和Hadoop是互補的:應該使用NoSQL系統來捕獲大數據並向用戶提供操作智能,MPP數據庫和Hadoop應該被用來爲分析師和數據科學家提供分析洞察力。 NoSQL,MPP數據庫和Hadoop一起使企業能夠利用大數據。

0

據我所知,每個雲服務提供商都有他們的積極和消極。 我對谷歌雲有很好的瞭解。所以,我試圖比較w.r.t.谷歌雲。 下面是兩個鏈接,它們提供了有關谷歌雲的產品映射。

https://cloud.google.com/free/docs/map-azure-google-cloud-platform https://cloud.google.com/free/docs/map-aws-google-cloud-platform

例如,Azure的HDInsight地圖與谷歌雲Dataproc和谷歌雲數據流。在這裏使用Dataproc,我們可以運行Hadoop Mapreduce作業。數據流我們可以用於批處理和流數據處理。

在AWS中,Azure HDInsight使用Amazon Elastic MapReduce(EMR)映射。

根據CPU類型,核心數量和存儲選項,每個服務提供商有不同的定價機制。在谷歌雲中,我們有可搶佔實例的選項,這些實例的成本非常便宜,但我們只能在短期內使用它們。 (最多24小時)。

您可以從下面的鏈接比較定價:

https://cloud.google.com/dataproc/pricing

https://cloud.google.com/dataflow/pricing

​​

https://aws.amazon.com/emr/pricing/

有市場的工具來比較不同的雲服務: https://github.com/GoogleCloudPlatform/PerfKitBenchmarker

相關問題