我有一個日誌文件,並希望根據時間戳(例如gt> 24th oct)將日誌索引到elasticsearch。我怎樣才能爲此配置logstash?由於ignore_older
字段是用於多個文件,因此我無法使用它。如何基於logstash配置中的時間戳在elasticsearch中索引日誌?
0
A
回答
0
有幾種方法可以完成這樣的事情。最簡單的方法取決於你的日期如何表示。例如,如果你在文件中的日期是在YYYY-MM-DD格式,你可以做一個字符串比較是這樣的:
if ([timestamp] < '2015-01-01') {
drop {}
}
如果不是的話,最好的辦法是增加一個新的領域與@timestamp
作爲一個字符串。請注意,它將在格林威治標準時間
mutate {
add_field => [ "mydate", "%{@timestamp}"]
}
if ([mydate] < '2015-01-01') {
drop {}
}
mutate {
remove_field => ["mydate"]
}
+0
是的這適用於格式YYYY-MM-dd,但我的日期格式是[Tue Nov 8 11:47:28 2016],所以如何處理字符串格式的日期和過濾日誌。 –
+0
使用日期過濾器解析日期,然後使用上面的@timestamp方法 – Alcanzar
相關問題
- 1. 基於logstash中已轉換的unix時間戳值的索引
- 2. 在日誌格式中獲取日期格式的時間戳,日期和時間字段在logstash中
- 3. 何時在JSON日誌中放置時間戳
- 4. 如何從logstash索引中刪除整個日誌?
- 5. 如何在基類中配置日誌,基於Log4J中的派生類?
- 6. 如何在logstash或kibana中同步日誌時間
- 7. 解析nginx日誌中的時間戳
- 8. Ant日誌中的時間戳?
- 9. 如何在Eclipse中設置時區(錯誤的CVS日誌時間戳)?
- 10. 如何在日誌中獲取適當的時間戳c?
- 11. 如何轉換Dropbox日誌時間戳?
- 12. 在expressjs v4中,我如何在日誌上添加時間戳?
- 13. 如何將日誌中的時間設置爲elasticsearch中的主@timestamp
- 14. 基於時間戳
- 15. Logstash沒有將日誌分爲配置
- 16. 配置logstash以訪問遠程日誌
- 17. Logstash輸入Cloudwatch日誌配置
- 18. 麋鹿Elasticsearch logstash配置
- 19. 如何在HDFS中存儲和分析時間戳日誌
- 20. Logstash:如何讀取由日期/時間創建的日誌
- 21. 如何在window8中使用elasticsearch配置logstash?
- 22. 基於日誌記錄級別的SpringBoot日誌記錄配置
- 23. 索引日誌成基於模式匹配
- 24. 變化datepattern(時間戳)日誌文件名中的位置
- 25. Logstash + logstash forwarder + kibana + Elasticsearch的自定義日誌
- 26. 如何在基於時間戳的MongoDB中查詢
- 27. 如何在基於Java和Docker的OpenWhisk操作中配置和訪問日誌?
- 28. 在elasticsearch中啓用默認時間戳
- 29. 熊貓:使用Unix時間戳時間戳作爲日期時間索引
- 30. Logstash:時間戳模式
你能解釋爲什麼ignore_older不適合你嗎?使用路徑和排除選項,您可以選擇正確的文件 – baudsp
是的,但我只有一個文件,所以想要針對日誌中的日期篩選特定文件上的日誌。 –