使用多核將數據序列化爲二進制

我使用模塊Storable中的store函數來獲取我的哈希的二進制表示。這個哈希值足夠大，可以使進程持續20分鐘。是否有與store類似的功能可以與多核芯片一起使用，因此可以提升速度？使用多核將數據序列化爲二進制

我搜索了一段時間，我沒有找到任何相關的東西，甚至使用bson作爲存儲。

如果你不關心格式，你可以從字面上將散列分成N部分，然後將這些部分存儲到單獨的文件中。 ///另外，比如JSON和YAML等較輕的格式，如果它們足夠適合您，它可能比Storable更快。 – ikegami

鑑於「序列化」的含義，到底如何建議「串行化」某些東西？另外，即使是千兆字節的數據也不需要20分鐘的時間來進行序列化，但其他方面卻是錯誤的。如果你需要幫助，你將不得不提供更多的細節。 –

@JimGarrison我有超過1 GB的信息。在這一刻我不能說確切的數額，但我認爲這可能很容易10 GB。序列化我的意思是獲得我的散列的二進制表示以存儲到文件中。 –

最後，我決定將我想要存儲的數據拆分爲與計算機上的核心數量相同的數量。所以，我可以在線程中執行store來製作不同的輸出文件，正如ikegami在評論中所建議的那樣。

2017-03-13 21:41:41

回答