在MySQL和MongoDB/HBase上連接分析數據

Question

我們正在尋找使用MongoDB或HBase構建內部實時分析系統（其他選項可能，但這些是我們現在正在考慮的兩個）。我們選擇了這些兩個因爲：

• 我們將錄製大量的事件，並希望能夠以 的橫向和縱向縮放。
• 我們將得到「長尾」請求 - 例如，「給我三年前這個項目的指標」 - 因此需要在大範圍內進行實時查詢，無論是時間還是其他值。

我們嘗試將MySQL用於分析表，但表格速度非常快，我們不希望我們的分析表成爲我們MySQL系統其餘部分的「重量級」。 （如果任何人有洞察力，我可以建議使用MySQL或其他分析表解決方案。）

所以，問題是：我們經常需要在我們的分析數據存儲和數據存儲中進行實時查找和JOIN MongoDB的/ HBase的。例如，我們將在分析中存儲表格的「id」，但對於任何請求，我們必須將它與「內容」表中的「標題」和「內容」字段「加入」 MySQL的。

有沒有辦法在MongoDB/HBase和MySQL上進行聯接，或者這是我們必須自定義構建到我們的應用程序中的東西嗎？如果我們在應用程序中構建它，我們將如何處理跨MySQL和MongoDB/HBase的大型數據集上的定製JOIN？

Answer 1

有沒有辦法做到跨越的MongoDB/HBase的和MySQL的JOIN ...

MongoDB的具有JOIN的絕對零支持。如果您使用MongoDB，基本上必須建立自己的連接系統。

HBase建立在Hadoop之上，理論上，some JOIN-like syntax is possible。

但是，MySQL和HBase之間的聯接幾乎可以肯定是自定義代碼。您可能需要考慮將MySQL數據複製到 HBase中。

...需要在大範圍內做實時查詢... 「給我的指標爲這個項目三年前」

認識到這將是一個巨大的挑戰，你不可能找到任何「開箱即用」的東西來爲你做這件事。

您需要對「實時」這個術語非常審慎。這聽起來像你想要「相對敏感的查詢」而不是「實時查詢」。您必須將「相對敏感」作爲範圍，因爲這將大大影響您使用的成本和產品。