高效篩選字典

Question

的嵌套列表我有字典的嵌套列表類似如下：

list_of_dict = [ 
     { 
     "key": "key1", 
     "data": [ 
      { 
       "u_key": "u_key_1", 
       "value": "value_1" 
      }, 
      { 
       "u_key": "u_key_2", 
       "value": "value_2" 
      } 
     ] 
     }, 

     { 
     "key": "key2", 
     "data": [ 
      { 
       "u_key": "u_key_1", 
       "value": "value_3" 
      }, 
      { 
       "u_key": "u_key_2", 
       "value": "value_4" 
      } 
     ] 
     } 
    ] 

正如你可以看到list_of_dict是字典的列表，裏面的是，data也是字典的列表。假設list_of_dict和data內部的所有對象具有相似的結構，並且所有密鑰始終存在。

在接下來的步驟I轉換list_of_dict到list_of_tuples，其中元組的第一個元素是key隨後針對value密鑰的所有值內data

list_of_tuples = [ 
      ('key1', 'value_1'), 
      ('key1', 'value_2'), 
      ('key2', 'value_3'), 
      ('key2','value_4') 
] 

的最後一步是用一個列表（comparison_list）比較。列表包含string值。列表中的值可以來自value關鍵內部數據。我需要檢查comparison_list中的任何值是否在list_of_tuples之內，並獲取該值的鍵（第一個元組項）。

comparison_list = ['value_1', 'value_2'] 

我的預期輸出是：

out = ['key1', 'key1'] 

我的解決方案如下：

>>> list_of_tuples = [(c.get('key'),x.get('value')) 
       for c in list_of_dict for x in c.get('data')] 

    >>> for t in list_of_tuple: 
      if t[1] in comparison_list: 
       print("Found: {}".format(t[0])) 

所以問題總結是，我有我需要找到值（comparison_list）的列表在data陣列內。

我正在操作的數據集非常大（> 100M）。我期待加快我的解決方案並使其更加緊湊和可讀。 我能以某種方式跳過創建list_of_tuples並直接進行比較的步驟嗎？

Answer 1

有幾個簡單的優化，你可以嘗試：

• 使comparison_list一個set所以查找是O（1），而不是爲O（n）
• 使list_of_tuples發電機，所以你不」噸有一次
• 兌現所有的條目，您還可以在條件融入發電機本身

例子：

comparison_set = set(['value_1', 'value_2']) 
tuples_generator = ((c['key'], x['value']) 
        for c in list_of_dict for x in c['data'] 
        if x['value'] in comparison_set) 
print(*tuples_generator) 
# ('key1', 'value_1') ('key1', 'value_2') 

當然，你也可以保持比較獨立於發電機：

tuples_generator = ((c['key'], x['value']) 
        for c in list_of_dict for x in c['data']) 
for k, v in tuples_generator: 
    if v in comparison_set: 
     print(k, v) 

或者你可以，而不是從list_of_dicts創建comparison_set一個dict映射值的鍵。這可以更快地找到特定值的關鍵，但請注意，您只能爲每個值保留一個鍵。

values_dict = {x['value']: c['key'] 
       for c in list_of_dict for x in c['data'] 
       if x['value'] in comparison_set} 
print(values_dict) 
# {'value_2': 'key1', 'value_1': 'key1'} 

Answer 2

在最後一步，你可以使用過濾器這樣的事情，而不是循環訪問指出：

comparison_list = ['value_1', 'value_2'] 

print(list(filter(lambda x:x[1] in comparison_list,list_of_tuples))) 

輸出：

[('key1', 'value_1'), ('key1', 'value_2')]