檢查對象數組的唯一性

Question

我正在從文件（如CSV和Excel）讀取數據，並且需要確保文件中的每一行都是唯一的。

每行將被表示爲object[]。由於當前的體系結構，這不能改變。此陣列中的每個對象可以有不同的類型（decimal,string,int等）。

的文件可以這個樣子：

foo 1  5 // Not unique 
bar 1  5 
bar 2  5 
foo 1  5 // Not unique 

的文件可能有200.000+行和列4-91。

我現在所擁有的代碼看起來是這樣的：

IList<object[]> rows = new List<object[]>(); 

using (var reader = _deliveryObjectReaderFactory.CreateReader(deliveryObject)) 
{ 
    // Read the row. 
    while (reader.Read()) 
    { 
     // Get the values from the file. 
     var values = reader.GetValues(); 

     // Check uniqueness for row 
     foreach (var row in rows) 
     { 
      bool rowsAreDifferent = false; 

      // Check uniqueness for column. 
      for (int i = 0; i < row.Length; i++) 
      { 
       var earlierValue = row[i]; 
       var newValue = values[i]; 
       if (earlierValue.ToString() != newValue.ToString()) 
       { 
        rowsAreDifferent = true; 
        break; 
       } 
      } 
      if(!rowsAreDifferent) 
       throw new Exception("Rows are not unique"); 
     } 
     rows.Add(values); 
    } 
} 

所以，我的問題，是否可以更有效地完成？如使用散列，並檢查散列的唯一性呢？

Answer 1

你可以使用一個HashSet<object[]>與自定義IEqualityComparer<object[]>這樣的：

HashSet<object[]> rows = new HashSet<object[]>(new MyComparer()); 

while (reader.Read()) 
{ 
    // Get the values from the file. 
    var values = reader.GetValues();  
    if (!rows.Add(values)) 
     throw new Exception("Rows are not unique"); 
} 

這MyComparer可以實現這樣的：

public class MyComparer : IEqualityComparer<object[]> 
{ 
    public bool Equals(object[] x, object[] y) 
    { 
     if (ReferenceEquals(x, y)) return true; 
     if (ReferenceEquals(x, null) || ReferenceEquals(y, null) || x.Length != y.Length) return false; 
     return x.Zip(y, (a, b) => a == b).All(c => c); 
    } 
    public int GetHashCode(object[] obj) 
    { 
     unchecked 
     { 
      // this returns 0 if obj is null 
      // otherwise it combines the hashes of all elements 
      // like hash = (hash * 397)^nextHash 
      // if an array element is null its hash is assumed as 0 
      // (this is the ReSharper suggestion for GetHashCode implementations) 
      return obj?.Aggregate(0, (hash, o) => (hash * 397)^(o?.GetHashCode() ?? 0)) ?? 0; 
     } 
    } 
} 

我不能完全肯定是否a==b部分作品適用於所有類型。