Spark緩存：緩存爲100％，而磁盤上的大小不爲零，爲什麼？

Question

我在DataFrame上調用cache()，我認爲它完全緩存成功，因爲在Spark UI中，我可以看到存儲選項卡中的Frsction緩存字段爲100％。但同時我看到磁盤上的大小不爲零。

請注意，我在羣集（> 60GB）中有足夠的內存，DataFrame大小爲37GB，但我看到4.7GB保存在磁盤上。

這裏是我所看到的屏幕截圖：

我不知道爲什麼/時，這種情況下會發生什麼？

P.S.我在EMR 5.0上使用Spark 2.0.0

Answer 1

因此，與RDD不同，數據集（以及我猜的DataFrame也）默認保留爲MEMORY_AND_DISK。

這裏的源代碼：Dataset.scala

謝謝你問這個問題。我不知道。 ：D

Answer 2

當您使用persist方法時，可以將StorageLevel指定爲參數。

但是，當您使用緩存方法時，它將使用storageLevel作爲MEMORY_AND_DISK。

請參考鏈接：https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrame.cache

希望它幫助。

Regards， Neeraj