Logstash過濾器 - 從 「this_is_example」=> 1轉換鍵名稱爲[此] [是] [示例] => 1

Question

鑑於這種LogStash事件，紅寶石散列

{ 
    "_some_private_key" => 10, 
    "address_unit" => "1", 
    "address_sqft" => 1098, 
    "address_city" => "NEW YORK", 
    "apartment_floor_unit_door" => "5", 
    "tags" => [ 
     "pub", 
     "importer", 
     "assessment" 
    ] 
} 

應該被存儲到ES作爲

{ 
    "_some_private_key": 10, 
    "address": { 
    "unit": 1, 
    "sqft": 1098, 
    "city": "NEW YORK" 
    }, 
    "apartment": { 
    "floor" : { 
     "unit": { 
     doors: 1043 
     } 
    } 
    }, 
    "tags": [ 
    "pub", 
    "importer", 
    "assessment" 
    ] 
} 

約束：

• 應該繞過鍵開始_
• 應該是動態/遞歸，檢查重點apartment_floor_unit_door例如

我想知道是否有一些內置/社區過濾器來實現它，或如何使用Ruby代碼來實現它。

謝謝！

Answer 1

與mudasobwas類似，但使用each_with_object代替。我更喜歡inject這種方法只要有可能（each_with_object只有可變對象的作品，因爲你不會在塊的最後返回一個新的對象）

def convert(hash) 
    hash.each_with_object({}) do |(key, value), akku| 
    if (parts = key.split('_')).length == 2 
     akku[parts[0]] ||= {} 
     akku[parts[0]][parts[1]] = value 
    else 
     akku[key] = value 
    end 
    end 
end 

而且我沒有使用正則表達式（只能通過.split()間接的），因爲我認爲這更可讀）。

您是否需要處理帶有多個下劃線的密鑰？或更多層次的嵌套？

UPDATE：

def convert(input) 
    input.each_with_object({}) do |(key, value), output| 
    next if key.start_with?('_') 
    keys = key.split('_') 
    convert_keys(output, keys, value) 
    end 
end 

def convert_keys(output, keys, value) 
    keys[0...-1].each do |key| 
    output = output[key] ||= {} 
    end 
    output[keys.last] = value 
end 

這應該做的伎倆。這不是遞歸的，因爲你的樣品輸入內容不要求（如果輸入的散列值又是需要被打破鍵的哈希不工作）。 convert_keys方法也可以遞歸地完成。但我更喜歡這裏的迭代方法。

這是否解決問題嗎？

Answer 2

inp = { 
    "address_unit" => "1", 
    "address_sqft" => 1098, 
    "address_city" => "NEW YORK", 
    "tags" => ["pub", "importer", "assessment"] 
} 

inp.inject({}) do |memo, (k, v)| 
    if k =~ /\A(.*?)_(.*)/ 
    (memo[$~[1]] ||= {})[$~[2]] = v 
    else 
    memo[k] = v 
    end 
    memo 
end 

#⇒ { 
# "address" => { 
#  "city" => "NEW YORK", 
#  "sqft" => 1098, 
#  "unit" => "1" 
# }, 
#  "tags" => [ 
# [0] "pub", 
# [1] "importer", 
# [2] "assessment" 
# ] 
# } 

上面的代碼將打破所有強調的foo_bar鍵嵌套。

Answer 3

鑑於你的榜樣（三場），怎麼樣logstash解決方案：

mutate { 
    rename => { "address_unit" => "[address][unit]" } 
    rename => { "address_sqft" => "[address][sqft]" } 
    rename => { "address_city" => "[address][city]" } 
} 

我沒有看，看看是否可以重命名一次性做多，那麼你可以嘗試這一點。