使用超出內存的數據

Question

我有一個數據結構，它表示一系列對象和它們之間的鏈接。每個對象擁有一個帶有屬性的字典，甚至可以嵌套Python對象。

由於純粹的編號或有時由於個別的大型屬性，這些對象偶爾會超出可用內存。

有沒有一種簡單的方法仍然可以處理這種沒有內存異常的數據？

如果我只有字符串的屬性，我可以考慮圖形數據庫，但也許有一些簡單的讓我保持我的Python數據結構。

Answer 1

好了，你可以只是安裝更多的RAM ;-)

這是迄今爲止最簡單的解決方案（雖然我不知道這是你的具體情況如何可行的），甚至可能是最便宜（記住更改代碼的成本）。

只是一個選項，以做到心中有數......

Answer 2

有4個「真正」的解決方案和2「從字面上你想要什麼」的解決方案：

1. 修改架構，這樣你就不會保留你不需要的巨大數據;也許你正在使用數據庫，並且不需要在查詢中檢索這些數據片段。
2. 修改你的目標：也許你並不需要處理這些事情。
3. 將處理分解爲更小的塊，確保釋放未使用的對象以進行垃圾回收（通過釋放所有引用）。
4. 購買更多內存。

這兩種解決方案在字面上做你想做的事情，而不需要購買更多的RAM，將需要使用硬盤。因此，它們會非常慢。但是，如果您的數據量很大（數百GB），並且您的有需要通過所有數據，這可能是您唯一的選擇（閃存驅動器可能會提供很好的加速，但過多的寫入會很快磨損） 。

1. 增加虛擬內存的大小。 （在Linux中，這是通過增加交換分區的大小或添加更多交換分區來完成的。）
2. 將處理分解爲更小的塊，通過垃圾收集將內容從RAM卸載回磁盤，即使您可能需要它再次。