如何使用logstash將隊列的內容發送到elasticsearch索引

Question

我有一個logstash啓動並運行，消耗兩個兔子隊列併發送到elasticsearch。這是我的logstash.conf文件：

input { 
    rabbitmq { 
    host => 'rabbit' 
    durable => true 
    user => 'user' 
    queue => 'dev-user_trace' 
    password => 'pass' 
    } 
    rabbitmq { 
    host => 'rabbit' 
    durable => true 
    user => 'user' 
    queue => 'min-price-queue' 
    password => 'pass' 
    } 

} 
filter{ 
} 
output{ 
    stdout { codec => json} 
    elasticsearch{ 
    hosts => ["elasticsearch"] 
    index => "eventss-%{+YYYY.MM.dd}" 
    } 

} 

現在我有另一個隊列，但我想它的內容發送到不同的elasticsearch指數。我的問題是：我如何需要將特定條目重定向到特定索引？還是我需要另一個logstash實例？

在此先感謝。

Answer 1

非常好的開始。現在，你只需要在「類型」每個輸入，然後將事件轉發到給定的類型選擇合適的輸出，這樣的：

input { 
    rabbitmq { 
    host => 'rabbit' 
    durable => true 
    user => 'user' 
    queue => 'dev-user_trace' 
    password => 'pass' 
    type => 'traces'    # <-- add this 
    } 
    rabbitmq { 
    host => 'rabbit' 
    durable => true 
    user => 'user' 
    queue => 'min-price-queue' 
    password => 'pass' 
    type => 'prices'    # <-- add this 
    } 

} 
filter{ 
} 
output{ 
    stdout { codec => json} 

    if [type] == 'traces' {   # <-- check type 
    elasticsearch{ 
     hosts => ["host1:9200"] 
     index => "index1-%{+YYYY.MM.dd}" 
    } 
    } 

    if [type] == 'prices' {   # <-- check type 
    elasticsearch{ 
     hosts => ["host2:9200"] 
     index => "index2-%{+YYYY.MM.dd}" 
    } 
    } 
} 

UPDATE

以上是最常見的方法，讓你可以不同地配置兩個輸出。正如@pandaadb建議，你也可以有一個單一的輸出，並定義一個類型，這將是您的目標指數：

input { 
    rabbitmq { 
    host => 'rabbit' 
    durable => true 
    user => 'user' 
    queue => 'dev-user_trace' 
    password => 'pass' 
    type => 'index1'     # <-- add this 
    } 
    rabbitmq { 
    host => 'rabbit' 
    durable => true 
    user => 'user' 
    queue => 'min-price-queue' 
    password => 'pass' 
    type => 'index2'     # <-- add this 
    } 

} 
filter{ 
} 
output{ 
    stdout { codec => json} 

    elasticsearch{ 
    hosts => ["localhost:9200"] 
    index => "%{type}-%{+YYYY.MM.dd}" # <-- use type here 
    } 
}