熊貓：同一HDF中的大型數據框？

Question

我有幾個不同的數據框是相關的（如果需要，還有ID加入）。但是，我不需要總是需要他們在同一時間。

由於它們非常大，將它們存儲在不同的HDF商店中有意義嗎？或者，當我在同一個文件中的其他幀上工作時，攜帶「未使用」幀的代價可以忽略不計？

Answer 1

攜帶未使用幀的成本與其他文件或同一文件中的成本相同。詢問你的自己是否更好地將這個sql表存儲在另一個數據庫或同一個數據庫中。如果他們是相關的，把他們放在同一家商店。

Answer 2

理論上如果你可以單獨在IO子系統方面的HDF文件（不同的主軸，不同的存儲系統，等等），你可以嘗試並行讀取你的話語結構，實際上我想你的具體情況對其進行測試在您的硬件上使用您的數據等。

分離文件的另一個優勢 - 如果您從包含多個DF的HDF存儲區中刪除或顯着減小大量DF的大小，則其大小將保持不變。如果你有一個單獨的文件，你可以簡單地刪除它並釋放未使用的空間