在Logstash和Kafka中排列消息的優先級

Question

我們將從logstash將不同來源的不同日誌提供給kafka。會有一些特定的（或某些格式）消息，kafka的消費者會比其他消息更感興趣。我們如何優先處理消息？

一個想法是在kafka中創建兩個主題 - 1）high_priority_topic 2）low_priority_topic，然後在logstash中使用過濾器將感興趣的消息推送到high_priority_topic，並將其餘消息推送到其他消息。這可能嗎？

有沒有推薦的方法呢？

Answer 1

使用任一標籤或輸入logstash來區分high_priority和low_priority，然後有兩個卡夫卡輸出。

if CONDITIONAL { 
    kafka { 
    topic => "high_priority_topic" 
    ... 
    } 
} 
else { 
    kafka { 
    topic => "low_priority_topic" 
    ... 
    } 
} 

使用類型爲條件會是什麼樣

[type] == "high_priority" 

使用標記它看起來像

"high_priority" in [tags]