我打算使用ElasticSearch來索引我的Cassandra數據庫。我想知道是否有人看到ElasticSearch的實際限制。事情在PB級範圍內變慢了嗎?另外,有誰使用ElasticSearch索引Cassandra有任何問題?ElasticSearch + Cassandra的實際限制
23
A
回答
24
請參閱2011年的this thread,其中提到了ElasticSearch配置,每個容量爲1700個分片,分辨率爲200GB,分辨率爲1/3 PB。我期望ElasticSearch的體系結構將支持幾乎無限的水平可伸縮性,因爲每個分片索引都與所有其他分片分開工作。
實際限制(也適用於任何其他解決方案)包括首先實際加載大量數據所需的時間。管理這種大小的Cassandra集羣(或任何其他分佈式數據存儲)也將涉及很大的工作量,僅用於維護,負載平衡等。
12
Sonian是該公司kimchy在該主題中的暗示。我們跨多個ES羣集在AWS上擁有超過1 PB的性能。 ES的水平伸展距離沒有技術限制,但正如DNA提到的那樣存在實際問題。目前最大的是網絡。它適用於每個分佈式數據存儲。你一次只能在電線上移動很多東西。當ES必須從故障中恢復時,必須移動數據。最好的選擇是在更多的節點上使用更小的分片(更多併發傳輸),但是你有更高的失敗率和更高的每字節成本風險。
0
提到DNA DNA,1700個碎片,但它不是1700個碎片,但有1700個索引,每個碎片有1個碎片和1個副本。所以很有可能這1700個指數不是在單機上存在,而是在多臺機器上分開。 因此,這是從來沒有一個問題
0
我現在開始Elisandra(Elasticsearch +卡桑德拉)工作
我也是,具有elasticsearch問題索引卡桑德拉。我的問題基本上是節點配置。
做$ nodetool status
你可以看到Host ID
,然後破壞:
curl -XGET http://localhost:9200/_cluster/state/?pretty=true
您可以檢查node:
的一個是相同的名稱作爲Host ID
相關問題
- 1. textarea的實際限制是多少?
- 2. cassandra節點限制
- 3. Cassandra的Phantom DSL如何實際連接?
- 4. HTML文件上傳 - 實際限制?
- 5. Elasticsearch與cassandra集成
- 6. Elasticsearch和Lucene文檔限制
- 7. Elasticsearch結果限制問題
- 8. 與cassandra一起使用PIG的限制
- 9. 將TextArea中的文本限制爲TextArea的實際區域
- 10. 支持的方向不限制實際的方向
- 11. 是否有一個實際的HTTP頭長度限制?
- 12. SQL Server中數據庫數量的實際限制?
- 13. 如何在使用ax.axis('equal')時獲得實際的軸限制?
- 14. 在Spark 2.0中實際取消了單個SparkContext的限制嗎?
- 15. 玻璃魚 - 吞吐量和通道尺寸的實際限制?
- 16. 什麼是GKSession sendData的實際數據大小限制:toPeers:withDataMode:error:?
- 17. Mono對ASP.NET有任何實際的限制嗎?
- 18. Java中打開文件的數量是否有實際限制?
- 19. SVN中的標籤數量是否有實際限制?
- 20. 如何限制方法的實際執行時間
- 21. Flash中位圖的實際限制是什麼?
- 22. Azure共享訪問簽名數量的實際限制?
- 23. 我可以限制Elasticsearch中新增的elasticsearch 5.3
- 24. Cassandra CQL3 Select語句無限制
- 25. Cassandra限制1對LINQ第一()
- 26. Cassandra 3.0.12 - nofile限制足夠嗎? :false
- 27. 如何將Cassandra的數據複製到Elasticsearch?
- 28. max_old_space_size設置爲4GB,實際上限制爲2GB
- 29. Select2 4.x:如何實際限制搜索輸入?
- 30. 如何在實際達到限制時執行代碼
謝謝你的DNA你的迴應。這非常有幫助。 – Henry 2011-07-06 21:13:53