如何將RDD中的每一行與對方相乘？

Question

我有一個RDD這是類似的，

CELL-ID | COUNT 
-------------- 
abcd  10 
DEF  20 
ghi  15 

我需要一個RDD與

CELL-ID-1 | CELL-ID-2 | PRODUCT 
-------------- 
abcd  DEF   200 
abcd  ghi   150 
DEF  abcd   200 
DEF  ghi   300 
... 
.... 

如何才能做到這一點？我綁在使用笛卡爾積，但無法得到的輸出

val result = orginalRDD.cartesian(orginalRDD).collect { 
    case ((t1: _,Int), (t2: _,Int)) if t1 != t2 => t1 * t2 
} 

Answer 1

您可以讓t1和t2代表元組（整個「記錄」）：

val result = orginalRDD.cartesian(orginalRDD).collect { 
    case (t1: (String ,Int), t2: (String ,Int)) if t1 != t2 => (t1._1, t2._1, t1._2 * t2._2) 
} 

或者，您可以做同樣的事情，但使用模式匹配將它們進一步分解：

val result = orginalRDD.cartesian(orginalRDD).collect { 
    case (t1@(s1 ,i1), t2@(s2, i2)) if t1 != t2 => (s1, s2, i1 * i2) 
} 

您的解決方案就像試圖同時做兩個一樣......