2016-06-09 121 views
3

我正在評估marklogic以實時處理數據。早些時候,我已經使用kafka和storm來實時處理數據,並將處理插入到數據庫中。我是marklogic的新手,所以任何人都可以告訴我有什麼可用的marklogic,我可以用它來實時處理數據,並在獲得數據處理之後將其插入到marklogic數據庫中。如何使用marklogic數據庫實時處理數據

回答

3

MarkLogic具有極高的可擴展性,並且具有觸發器,警報和CPF等功能,您可以根據這些功能構建邏輯以決定如何處理傳入內容。但是請注意以下幾點:

MarkLogic是一種無共享的體系結構,因此每個節點上的CPU和HTTP服務器都是獨立的,因此在考慮如何平衡傳入消息時必須牢記這一點。

MarkLogic也不會流到磁盤。

MarkLogic可以通過一個很棒的HTTP客戶端進行連接,但我不認爲有任何功能可以將內容追加到打開的連接上(這與它爲什麼沒有ftp功能有關)相信)。


所以,我指出這些項目,所以你明白,你是在處理一個不同類型的系統。所以這種方法是不一樣的。實際上,通過使用預先提交觸發器或者只是一個基於http的應用程序與反向查詢等超快速功能混合,並設計您的解決方案以匹配MarkLogic的工作方式,處理大量數據以進行實時處理可能是偉大的解決方案。我從事的一個大型實現是MarkLogic樂於接收和處理來自上游WebSphere消息代理的大量消息。某些消息在內部處理,其他消息則傳遞到Splunk和其他系統。


我的回答是一個高層次的方式你的問題,因爲它不是實際要詳細具體的問題 - 和MarkLogic是一個大的,強大的解決方案,而您真的需要得到的概述你自己的。如果你有時間的話,那麼有一天的免費培訓課程涵蓋了基礎知識 - 用戶可以更好地瞭解產品並根據需要進行評估。

BTW:MarkLogic的所有培訓都是免費的。這裏是鏈接到基本面的過程:http://www.marklogic.com/training-courses/marklogic-fundamentals /這個也可以採取自己的時間(自我進度)

3

此外,請看看MarkLogic Java Client API應該是可以從暴風雨或卡夫卡使用。也許這爲您提供了一種繼續進行實時處理的方法,您可以使用Java API將數據插入到MarkLogic中。

+0

謝謝薩姆,我會試試看。 – RCS

+2

我還有一個關於哪個更好的方法來將數據轉儲到marklogic中,通過使用內容泵進行自定義轉換或在多線程環境中使用java api? – RCS

+0

可以標記邏輯內容泵用於流數據的實時處理並將其存儲到ML DB? –