2011-04-10 100 views
8

我正在從一個在線流媒體平臺上記錄大量有關觀衆信息的項目。目前MySQL解決方案的問題是查詢速度太慢,等等。 即使通過擴展和更好的性能調整,現在也可以工作,因爲只有大量的數據是實時寫入/讀取的。用於日誌記錄的最佳NoSQL解決方案

對我來說什麼是一個好的(最好的)NoSQL解決方案?

附加:

  • 目前,我們也在使用亞馬遜Web服務,我們儲存我們的數據。
  • 使用Java API,首選開源解決方案。
  • 面向對象。

回答

1

我會花一些時間看這些選項:

所有這些解決方案都各有和缺點,但他們的維基應該提供足夠的信息來幫助你入門。

1

您可能面臨的第一個挑戰是如何可靠地收集海量數據並輕鬆管理。有一些開源日誌收集器的實現,如syslog,Fluentd,ScribeFlume :)

最大的問題是如何存儲和處理數據。正如您所指出的那樣,使用NoSQL解決方案非常好,但您需要根據您的數據量進行選擇。

起初,您可以使用MongoDB來存儲您的所有數據,但是在某個時刻,您最終會使用Apache Hadoop來構建大規模可擴展架構。

這裏應該有一個分佈式日誌記錄層,它抽象出存儲後端,併爲數據量選擇正確的NoSQL解決方案。

這裏有一些鏈接將Apache日誌放入MongoDB或Hadoop HDFS由Fluentd。