是否有可能檢測到重複的圖像文件？

Question

我有超過10K的產品文件，問題是許多圖像是重複的。

如果沒有圖像，則有標準圖像顯示'無圖像'。

如何檢測圖像是否爲此標準的「無圖像」圖像文件？

更新 圖像是一個不同的名稱，但它是完全一樣的圖像，否則。

人們說哈希，我會這樣做嗎？

im = cStringIO.StringIO(file.read()) 
img = im.open(im) 
md5.md5(img) 

Answer 1

我寫了一個劇本爲這個而回。首先它掃描所有文件，並在字典中註明它們的大小。您endup有：

images[some_size] = ['x/a.jpg', 'b/f.jpg', 'n/q.jpg'] 
images[some_other_size] = ['q/b.jpg'] 

然後，對每個地方有一個在字典超過1元密鑰（圖像尺寸），我讀到了文件的某些固定的金額，做一個哈希值。像這樣：

possible_dupes = [size for size in images if len(images[size]) > 1] 
for size in possible_dupes: 
    hashes = defaultdict(list) 
    for fname in images[size]: 
     m = md5.new() 
     hashes[ m.update(file(fname,'rb').read(10000)).digest() ] = fname 
    for k in hashes: 
     if len(hashes[k]) <= 1: continue 
     for fname in hashes[k][1:]: 
      os.remove(fname) 

這是所有關閉我的頭頂，沒有測試的代碼，但你明白了。

Answer 2

假設您正在討論相同圖像數據的相同圖像。

計算「無圖像」的形象hash並將其與其他圖像的哈希值。如果哈希值相同，則它是相同的文件。

Answer 3

哈希它們。碰撞是重複的（至少，它們不是一個數學不可能的文件）。

Answer 4

如果你正在尋找一個特定圖像的精確副本：加載此圖片到內存中，然後在你的圖像採集循環;跳過任何不具有相同大小的文件;比較具有相同大小的文件的內容，在第一個差異處停止。

計算在這種情況下的哈希其實是適得其反，因爲你必須仔細閱讀每一個文件到內存中（而不是能停在第一差），並在其上執行CPU密集型任務。

如果有幾套重複的，在另一方面，計算每個文件的散列比較好。

如果你也在尋找視覺近重複，findimagedupes可以幫助你。

Answer 5

作爲旁註，對於圖像，我發現柵格數據散列比文件散列有效得多。

的ImageMagick提供了可靠的方法來計算這樣的散列，並有可用的蟒蛇不同的綁定。它有助於檢測具有不同無損壓縮和不同元數據的相同圖像。

用例：

>>> import PythonMagick 
>>> img = PythonMagick.Image("image.png") 
>>> img.signature() 
'e11cfe58244d7cf98a79bfdc012857a9391249dca3aedfc0fde4528eed7f7ba7'