2013-04-21 55 views
1

我下載了維基百科轉儲(this page上的第一個torrent),並試圖通過將它們存儲在python字典中來索引所有鏈接。我使用當前頁面的鍵將鏈接作爲目錄列表存儲在字典中。然而,當我處理轉儲時,我結束了一個MemoryError,所以我決定爲每個頁面分配一個整數ID。這讓我走得更遠,但我仍然以MemoryError結束。如果沒有這個,我能做些什麼來處理?我寧願將它全部存儲在內存中。由於我的代碼相當長,我發佈了它here索引維基百科的鏈接製作圖形

回答