同時在彈性搜索中索引多個索引

Question

我使用logstash進行ETL用途，並在彈性搜索中使用3個索引。可以同時通過3個不同的logtash進程將文檔插入到3個索引中，以提高並行性或者我應該一次將文檔插入到1索引中。

我的彈性搜索羣集配置的樣子： 3數據節點 1個客戶端節點

3數據節點 - 64 GB RAM，SSD磁盤 1個客戶端節點 - 8 GB RAM

碎片 - 20個碎片 Replica - 1 謝謝

Answer 1

一如既往，這取決於。 Elasticsearch的分佈概念基於碎片。由於索引的分片存在於不同的節點上，因此您將自動分散負載。

但是，如果Logstash是您的瓶頸，您可能會從運行多個進程獲得性能。儘管如果在一臺機器上運行多個LS流程會產生積極的影響是值得懷疑的。如果Logstash是你的瓶頸，那麼並行運行它們（在不同的機器上）可能是有意義的。

PS：最大的性能提升一般是將請求分配在一起，但Logstash做到了這一點by default。