在PySpark

Question

例如變換RDD我有型((i,j), k)的下一個RDD：

((0,0), 0) 
((0,1), 0) 
((1,0), 0) 
((1,1), 0) 

我想將它轉化爲一個又一個，其中有1如果i==j。我的第一次嘗試出錯了：

rddnew = rdd.flatMap(lambda ((i,j), k): [if i==j: ((i,j), 1)])) 

有人可以幫助我改進Python代碼？

Answer 1

這裏是一個解決方案：

def transformation(entry): 
    (i, j), v = entry 
    return (i, j), v + 1 if i == j else 0 

rdd3 = rdd.map(transformation) 
rdd3.collect() 
# [((0, 0), 1), ((0, 1), 0), ((1, 0), 0), ((1, 1), 1)] 

：

data = [((0, 0), 0), ((0, 1), 0), ((1, 0), 0), ((1, 1), 0)] 
rdd = sc.parallelize(data) 
rdd2 = rdd.map(lambda ((i, j), _): ((i, j), 1) if (i == j) else ((i, j), 0)) 
rdd2.collect() 
# [((0, 0), 1), ((0, 1), 0), ((1, 0), 0), ((1, 1), 1)] 

您還可以通過使用映射器的功能定義一個清潔的解決方案