2016-11-28 41 views
0

我對這些是辦法看到,已以星火shell環境被創建爲[238]星火匿名函數字節碼

org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[238]匿名類的字節碼好奇。

+0

爲什麼您需要字節碼?你想達到什麼目的? –

+0

原因主要是好奇心。在Spark Web UI上檢查DAGScheduler有時會給我一個3個匿名類的鏈,只是爲了一個簡單的'.map'。我覺得列出這些匿名課程沒有提供任何細節是沒用的。 –

回答

0

MapPartitionsRDD[238]意味着這是在此上下文中創建的第239個RDD(從0開始)。這並不意味着創建了匿名類。

SparkContext保存關於此上下文中RDD數量的信息