針對大數據量的存儲器高效哈希算法

Question

我在Windows Mobile 5中使用C＃。該程序從互聯網下載大型文件及其哈希值。然後它計算下載數據的哈希值並將其與預期的哈希值進行比較。這個想法是驗證整個文件是否已經下載完整。

問題是，如果將文件的全部內容放入字節數組中的內存中，該文件足夠大，那麼設備將耗盡內存。不過，我想這樣做，以便我可以計算字節的散列。是否有可能計算散列，而不一次在內存中的所有字節？最好我想使用SHA1Managed類來計算SHA1散列值，但如果有必要，我願意改變它。我注意到接受Stream的SHA1Managed.ComputeHash（）方法存在重載，但我不知道它是否使用的內存少於只是將所有字節拖入內存以及我知道的內存分析器。 NET CF完全沒用。

Answer 1

SHA1Managed.ComputeHash(Stream)假設您在計算散列值後丟棄流的內容，應該更有效地利用內存。您將使用多少內存將部分基於Stream實施。

Answer 2

這裏是它是如何在桌面上完成的：

Compute a hash from a stream of unknown length in C#

這應該是很容易測試通過使用輸入源不是量越大流實現無論是在整個文件拉動或不內存可用。