不能鹹菜defaultdict

Question

我有一個defaultdict，看起來像這樣：

dict1 = defaultdict(lambda: defaultdict(int)) 

的問題是，我可以不使用cPickle的鹹菜吧。我在這裏找到的解決方案之一是使用模塊級功能而不是lambda。我的問題是，什麼是模塊級功能？我怎樣才能用cPickle使用字典？

Answer 1

除了Martijn's explanation：

模塊級的功能是其在模塊級上定義的函數，這意味着它不是一個一個類的實例方法，它不嵌套在另一個函數中，它是一個帶有名稱而不是lambda函數的「真實」函數。

所以，醃您defaultdict，與模塊級的功能，而不是lambda函數創建它：

def dd(): 
    return defaultdict(int) 

dict1 = defaultdict(dd) # dd is a module-level function 

比你可以泡製它

tmp = pickle.dumps(dict1) # no exception 
new = pickle.loads(tmp) 

Answer 2

Pickle希望存儲所有實例屬性，並且defaultdict實例存儲對default可調用的引用。 Pickle在每個實例屬性上遞歸。

泡椒不能處理羊肉; pickle只處理數據，而不是代碼，而lambda包含代碼。功能可以被酸洗，但只是類的定義只有當功能可以是進口。可以導入在模塊級定義的功能。 Pickle只是在這種情況下存儲一個字符串，這個函數的完整'路徑'被導入並在再次取消時被引用。

Answer 3

然而可以使用partial來實現：

>>> from collections import defaultdict 
>>> from functools import partial 
>>> pickle.loads(pickle.dumps(defaultdict(partial(defaultdict, int)))) 
defaultdict(<functools.partial object at 0x94dd16c>, {}) 

Answer 4

目前我在做類似的東西但是，對poser問題，我使用了defaultdict的子類，它具有用作default_factory的成員函數。爲了使我的代碼正常工作（我需要在運行時定義函數），我只是添加了一些代碼來準備酸洗對象。

相反的：

... 
pickle.dump(dict, file) 
... 

我用這個：

.... 
factory = dict.default_factory 
dict.default_factory = None 
pickle.dump(dict, file) 
dict.default_factory = factory 
... 

這不是我作爲我的樹確切的代碼是創建相同的樹的類型的實例對象索引被請求（所以我使用遞歸成員函數來執行pickle操作之前/之後的操作），但是這種模式也回答了這個問題。

Answer 5

要做到這一點，只需編寫你想寫的代碼即可。我會使用dill，它可以序列化lambdas和defaultdicts。蒔蘿可以序列化幾乎任何蟒蛇。

>>> import dill 
>>> from collections import defaultdict 
>>> 
>>> dict1 = defaultdict(lambda: defaultdict(int)) 
>>> pdict1 = dill.dumps(dict1) 
>>> _dict1 = dill.loads(pdict1) 
>>> _dict1 
defaultdict(<function <lambda> at 0x10b31b398>, {}) 

Answer 6

如果你不關心保留defaultdict類型，將其轉換：

​​

我認爲這是當你是酸洗，因爲一個偉大的選擇，對象很可能是在它的最終形式...並且，如果真的需要再次使用defaultdict類型，則可以在解開後簡單地進行轉換：

for value in my_dict: 
    my_dict[value] = defaultdict(type, my_dict[value]) 
nested_default_dict = defaultdict(type, my_dict)