如何將參數傳遞給傳遞給mapPartitions的函數？

Question

我想使用的，而不是使用mapmapPartitions功能，問題是，我想傳遞一個Array作爲參數，但mapPartitions不採取Array作爲參數。我怎樣才能傳遞數組作爲參數？

mapPartitions[U: ClassTag](
    f: Iterator[T] => Iterator[U], preservesPartitioning: Boolean = false) 

Answer 1

目前還不清楚你問什麼，所以我要猜你有一個看起來或多或少像這樣的功能：

def foo(iter: Iterator[T], xs: Array[V]): Iterator[U] = ??? 

，你想將它傳遞給mapPartitions 。

你有三個選擇：

1. 可以使用匿名函數：

   val xs: Array[V] = ??? 
   val rdd: RDD[U] = ??? 
   
   rdd.mapPartitions(iter => foo(iter, xs)) 
   

2. 重寫foo支持柯里：

   def foo(xs: Array[V])(iter: Iterator[T]): Iterator[U] = ??? // Rest as before 
   
   rdd.mapPartitions(foo(xs)) 
   

3. 庫裏foo這樣的：

   val bar = (iter: Iterator[T]) => foo(iter, xs)) 
   
   rdd.mapPartitions(bar)