我正在評估marklogic以實時處理數據。早些時候,我已經使用kafka和storm來實時處理數據,並將處理插入到數據庫中。我是marklogic的新手,所以任何人都可以告訴我有什麼可用的marklogic,我可以用它來實時處理數據,並在獲得數據處理之後將其插入到marklogic數據庫中。如何使用marklogic數據庫實時處理數據
回答
MarkLogic具有極高的可擴展性,並且具有觸發器,警報和CPF等功能,您可以根據這些功能構建邏輯以決定如何處理傳入內容。但是請注意以下幾點:
MarkLogic是一種無共享的體系結構,因此每個節點上的CPU和HTTP服務器都是獨立的,因此在考慮如何平衡傳入消息時必須牢記這一點。
MarkLogic也不會流到磁盤。
MarkLogic可以通過一個很棒的HTTP客戶端進行連接,但我不認爲有任何功能可以將內容追加到打開的連接上(這與它爲什麼沒有ftp功能有關)相信)。
所以,我指出這些項目,所以你明白,你是在處理一個不同類型的系統。所以這種方法是不一樣的。實際上,通過使用預先提交觸發器或者只是一個基於http的應用程序與反向查詢等超快速功能混合,並設計您的解決方案以匹配MarkLogic的工作方式,處理大量數據以進行實時處理可能是偉大的解決方案。我從事的一個大型實現是MarkLogic樂於接收和處理來自上游WebSphere消息代理的大量消息。某些消息在內部處理,其他消息則傳遞到Splunk和其他系統。
我的回答是一個高層次的方式你的問題,因爲它不是實際要詳細具體的問題 - 和MarkLogic是一個大的,強大的解決方案,而您真的需要得到的概述你自己的。如果你有時間的話,那麼有一天的免費培訓課程涵蓋了基礎知識 - 用戶可以更好地瞭解產品並根據需要進行評估。
BTW:MarkLogic的所有培訓都是免費的。這裏是鏈接到基本面的過程:http://www.marklogic.com/training-courses/marklogic-fundamentals /這個也可以採取自己的時間(自我進度)
此外,請看看MarkLogic Java Client API應該是可以從暴風雨或卡夫卡使用。也許這爲您提供了一種繼續進行實時處理的方法,您可以使用Java API將數據插入到MarkLogic中。
- 1. 實時批處理數據處理
- 2. 如何克隆MarkLogic數據庫
- 3. WP7使用MVVMLight處理數據庫
- 4. 如何使用Gradle配置MarkLogic數據庫備份?
- 5. 如何使用javascript將html頁面連接到Marklogic數據庫?
- 6. 如何使用emacs在Marklogic數據庫上運行xquery代碼?
- 7. Odoo如何處理數據庫鎖定?
- 8. 如何處理數據庫併發
- 9. Smalltalk如何處理數據庫?
- 10. Codeigniter:如何處理數據庫錯誤?
- 11. 如何處理大型數據庫?
- 12. 如何處理選擇從數據庫
- 13. 如何處理舊數據庫?
- 14. 數據庫如何處理冗餘值?
- 15. 如何處理混合數據庫?
- 16. 如何處理數據庫初始化?
- 17. Drupal部署:如何處理數據庫?
- 18. 核心數據處理創建實際的數據庫嗎?
- 19. Django/Python中的實時數據處理
- 20. 使用預處理語句將數據插入數據庫pdo
- 21. 如何使用數據庫實現memcached?
- 22. 使用實體框架處理數據庫遷移
- 23. 使用couchDB處理多個數據庫的最佳實踐
- 24. Firebase數據庫批處理
- 25. 數據庫處理IOS Swift2.0
- 26. 大型數據庫處理
- 27. 處理數據庫錯誤
- 28. 處理數據庫異常
- 29. 電子數據庫處理
- 30. django如何處理從數據庫中獲取數據?
謝謝薩姆,我會試試看。 – RCS
我還有一個關於哪個更好的方法來將數據轉儲到marklogic中,通過使用內容泵進行自定義轉換或在多線程環境中使用java api? – RCS
可以標記邏輯內容泵用於流數據的實時處理並將其存儲到ML DB? –