從fluentd添加彈性搜索的原始字段

我已經建立了一個集中式日誌記錄系統，其中我的應用程序節點安裝了FluentD，並加載了日誌文件。應用程序節點上的FluetndD將處理的日誌轉發到收集器節點上的FluentD。此收集器節點上的FluentD然後轉發到各種輸出，其中一個是ElasticSearch羣集。然後我運行Kibana從ES讀取。（我相信相當普遍的設置。）從fluentd添加彈性搜索的原始字段

當試圖在某些數據字段中顯示Kibana中的某些數據時，Kibana沒有正確分組。例如，電子郵件地址被視爲多個值（名稱，域名等）。在做了一些研究之後，我的理解是，問題是我的字段需要配置爲以.raw值的形式進行復制。（分析與未分析）

問題是我不知道如何讓FluentD將這些數據添加到Elasticsearch以包含.raw字段。據說這是默認情況下Logstash所做的事情？

我現在用的是一口流利的-插件-elasticsearch：https://github.com/uken/fluent-plugin-elasticsearch

來源

2016-09-24 barnesm999

從令牌化的視野光圈Elasticsearch，您可以not_analyzed by updating the index mapping.指定字段你要刪除索引（或創建一個新）看到此更改會生效，因爲您無法修改現有索引中的現有映射。你會想要把包含以下映射：

{ 
    "email": { 
    "type":  "string", 
    "index": "not_analyzed" 
    } 
}

來源

2016-09-24 15:34:16 fylie

啊我試過這個，但我的問題是，它仍然使用舊的索引。我刪除了現有的索引以強制它重新創建，現在我看到了未分析的字段。謝謝！ – barnesm999

從fluentd添加彈性搜索的原始字段

回答

相關問題