刪除列表中的重複項的最快方法Python

Question

我有兩個非常大的列表，並通過它循環一次至少需要一秒鐘，我需要做到200,000次。刪除兩個列表中的重複項以形成重複項的最快方法是什麼？

Answer 1

這是我能想到的最快方法：

import itertools 
output_list = list(set(itertools.chain(first_list, second_list))) 

輕微更新：作爲jcd指出，根據您的應用程序，你可能並不需要將結果轉換回列表。由於一組是由本身迭代，你也許可以只直接使用它：

output_set = set(itertools.chain(first_list, second_list)) 
for item in output_set: 
    # do something 

要小心的是，涉及使用set()可能會重新排序列表中的元素，所以沒有保證元素的任何解決方案將以任何特定的順序。這就是說，既然你把兩個列表結合在一起，很難想出一個很好的理由說明爲什麼你需要對它們進行特定的排序，所以這可能不是你需要擔心的。

Answer 2

result = list(set(list1).union(set(list2))) 

這就是我該怎麼做的。儘管如此，我對演出不太確定，但肯定比手動演奏更好。

Answer 3

由於丹尼爾指出，一組不能包含重複的條目 - 所以串連名單：

list1 + list2 

新的名單，然後轉換爲一組：

set(list1 + list2) 

然後回到列表：

list(set(list1 + list2)) 

Answer 4

我推薦這樣的：

def combine_lists(list1, list2): 
    s = set(list1) 
    s.update(list2) 
    return list(s) 

這消除了創建頭兩個連接的怪物列表的問題。

根據你在輸出中做什麼，不要費心地轉換回列表。如果訂購是重要的，你可能需要某種裝飾/排序/ undecorate shenanig圍繞此。