Logstash/Elasticsearch/Kibana資源規劃

Question

如何規劃資源（我懷疑，elasticsearch實例）：

隨着負載我的意思是≈500K事件/分鐘，每片含8-10場。

什麼是我應該轉動的配置旋鈕？ 我是新來的這個堆棧。

Answer 1

每分鐘500,000個事件是每秒8,333個事件，對於一個小型集羣（3-5臺機器）來說，這應該很容易處理。

問題將隨着保持720M每日文檔打開60天（43B文檔）。如果10個字段中的每個字段都是32個字節，那麼磁盤空間爲13.8TB（單個副本接近28TB）。

爲了便於比較，我在最大（64GB RAM，31GB堆）上有5個節點，其中1.2B文件佔用1.2TB磁盤空間（雙倍帶副本）。這個集羣無法處理每臺機器只有32GB內存的負載，但現在用64GB很高興。這是我們10天的數據。

粗略地說，您希望擁有比我的羣集消耗的磁盤空間大10倍的文檔數量的40倍。

我沒有確切的數字在我面前，但是我們的使用doc_values的試點項目給了我們像節省了90％的堆。

如果所有這些數學成立，並且doc_values是那麼好，那麼只要涉及索引的實際字節，就可以使用類似的集羣。我會徵求關於擁有這麼多單獨文件的開銷的額外信息。

我們已經做了一些彈性搜索調整，但可能還有很多工作要做。

我建議你從少數64GB機器開始。您可以根據需要添加更多內容。在一些（較小的）客戶端節點中作爲索引和搜索請求的前端。