randomSplit不尊重特定權重PySpark

Question

我正在使用PySpark，我正在尋找一種方法將RDD隨機分爲n個公平的部分。下式給出：

RDD = sc.parallelize(range(50)) 

我的代碼：

from itertools import repeat 

def split_population_into_parts(rdd): 

    N = 4 

    weight_part = float(1)/float(N) 

    weights_list = list(repeat(weight_part, N)) 

    repartionned_rdd = rdd.randomSplit(weights = weights_list) 

    #And just to check what weights give, I did : 
    for i in repartionned_rdd: 

     print len(i.collect()) 


split_population_into_parts(rdd = RDD) 

明知權重= [0.25，0.25，0.25，0.25]，我的代碼可以給爲例（如RDD長度）：

9 
19 
11 
11 

爲什麼randomSplit不尊重這裏的權重？我想要例如12,12,12和14作爲長度，或者12,12,13和13。什麼是最有效的方法來做到這一點？謝謝 ！

Answer 1

等重不保證記錄的數量相同。它只保證每個對象有相同的概率分配給一個特定的子集。

如果記錄數很少，您會看到像這樣的波動。這是正常的行爲。