logstash如何從Elasticsearch恢復下去

Question

我有多個logstash實例將日誌直接發送到中央elasticsearch服務器（使用output-> elasticsearch）。

目前爲止工作正常，但是當elasticsearch正在關閉時（例如整個服務器重啓），一旦elasticsearch重新啓動，logstash不會重新發送日誌。

我必須手動重新啓動logstash。此外，所有從elasticsearch開始直到logstash重啓的日誌都會丟失。

如何更改我的設置以使其更容錯？

Answer 1

添加另一臺服務器並啓動elasticsearch集羣。 Elasticsearch的構建是爲了擴展到多個節點，而logstash客戶端將自動加入集羣並進行故障切換。

瞭解更多關於the distributed nature of elasticsearch。

Answer 2

您應該考慮使用代理並將所有日誌發送到消息隊列（例如rabbitMQ），從那裏Logstash將提取消息並將數據發送到Elasticsearch。如果Elasticsearch將會下降，Logstash將停止拉動消息，並且它們將累積到經紀商中。一旦連接重新建立你的消息將被寫入。