Pyspark：基於類型

Question

值操作我有這樣的RDD：

[('a', ('H', 1)), ('b', (('H', 41), ('S', 1)))] 

使按鍵可以有一個tuple或tuples一個tuple的值。這來自reduceByKey。 我需要執行一個簡單的操作：將S的計數除以（H + S）的計數。 當S不存在時，就像在第一個項目的情況下，我將不得不返回0. 問題是從第二個（tuple的兩個tuples）中分離第一個案例（單個tuple），以便我知道如何在map中運作。

我將如何進行？

Answer 1

一般來說它會更有意義，以解決這一問題的上游，但你可以嘗試例如是這樣的：

from operator import truediv 

def f(vs): 
    try: 
     d = dict(vs) 
    except ValueError: 
     d = dict([vs]) 

    s = sum(d.values()) 
    return truediv(d.get("S", 0), s) if s else float('nan') 

rdd = sc.parallelize([('a', ('H', 1)), ('b', (('H', 41), ('S', 1)))]) 
rdd.mapValues(f).collect() 

## [('a', 0.0), ('b', 0.023809523809523808)] 

另外，如果你不介意的外部依賴性，你可以嘗試使用multipledispatch：

from multipledispatch import dispatch 

@dispatch(tuple, tuple) 
def f(h, s): 
    try: 
     return truediv(s[1], h[1] + s[1]) 
    except ZeroDivisionError: 
     return float('nan') 

@dispatch(str, int) 
def f(x, y): 
    return 0.0 

rdd.mapValues(lambda args: f(*args)).collect() 
## [('a', 0.0), ('b', 0.023809523809523808)]