Apache Spark RDD不同 - 奇怪的行爲

Question

我有一個尺寸80'000的pairRDD。只有1.5％的條目是唯一的。爲了篩選出複製的數據我稱之爲distinct方法：

val newRDD = oldRDD.distinct 

然而，這不僅能消除大部分的重複數據 - 它留下3-5之間重複每個唯一的入口！

我檢查了剩餘的條目與原始條目，它們完全一樣。

Sample of the original data: 

(1,(0.0500937328554143, 0.9000767961093774)) 
(1,(0.0500937328554143, 0.9000767961093774)) 
(1,(0.0500937328554143, 0.9000767961093774)) 

Sample of the distinct data: 

(1,(0.0500937328554143, 0.9000767961093774)) 
(1,(0.0500937328554143, 0.9000767961093774)) 
(1,(0.0500937328554143, 0.9000767961093774)) 

有什麼，我想知道如何distinct工作？

Answer 1

這些數字在轉換爲字符串後比較相等，但根據distinct如何處理它們，它們在轉換之前不得等於相等。不要打印它們，請檢查比較結果（==）。