如何將JavaPairRDD轉換爲數據集？

Question

SparkSession.createDataset()只允許List, RDD, or Seq - 但它不支持JavaPairRDD。

所以，如果我有一個JavaPairRDD<String, User>，我想創建一個從Dataset，會爲SparkSession.createDataset()限制的可行workround創建一個包裝UserMap類，它包含兩個字段：String和User。

然後做spark.createDataset(userMap, Encoders.bean(UserMap.class));？

Answer 1

如果您可以將JavaPairRDD轉換爲List<Tuple2<K, V>>，那麼您可以使用帶有List的createDataset方法。見下面的示例代碼。

JavaPairRDD<String, User> pairRDD = ...; 
Dataset<Row> df = spark.createDataset(pairRDD.collect(), Encoders.tuple(Encoders.STRING(),Encoders.bean(User.class))).toDF("key","value"); 

，或者你可以轉換到RDD

Dataset<Row> df = spark.createDataset(JavaPairRDD.toRDD(pairRDD), Encoders.tuple(Encoders.STRING(),Encoders.bean(User.class))).toDF("key","value");