Pyspark - 基於RDD中的一個鍵的總和和聚合

Question

我有下面的RDD。

[[1,101,001,100,product1], 
[2,102,001,105,product2], 
[3,103,002,101,product3]] 

預期成果是在度假心情

[('001', ['product1','100'],['product2','105']),('002',['product3','101'])] 

Answer 1

的感覺，所以你去：

我認爲，那項3 & 5在嵌套列表應弦...

創建RDD：

ls = [[1,101,"001",100,"product1"], 
[2,102,"001",105,"product2"], 
[3,103,"002",101,"product3"]] 

rdd1 = sc.parallelize(ls) 

這將提供rdd1爲：

[[1, 101, '001', 100, 'product1'], 
[2, 102, '001', 105, 'product2'], 
[3, 103, '002', 101, 'product3']] 

映射：

# discard items 1 & 2; set item 3 as key 
rdd2 = rdd1.map(lambda row: (row[2], [row[4], row[3]])) 
rdd2.collect() 

> [('001', ['product1', 100]), 
> ('001', ['product2', 105]), 
> ('002', ['product3', 101])] 

# group by key and map values to a list 
rdd3 = rdd2.groupByKey().mapValues(list) 
rdd3.collect() 

> [('001', [['product1', 100], ['product2', 105]]), 
> ('002', [['product3', 101]])] 

這是不太你感興趣的輸出，但隨後的RDD被鍵入..