如何在不保存所有數據的情況下檢查RDD？

Question

我正在運行一系列工作和中間工作rdd用於所有工作。所以我已經緩存了中間值rdds，但經過一些迭代後，其速度放緩。然後我用rdd緩存後檢查指向，以打破不需要的血統。在火花UI中，我能夠確認檢查指針是否正確完成。但它也花費時間，因爲它將每個rdd寫入本地系統。如何在不保存實際數據的情況下打破不必要的血統有效的方法是什麼rdd數據？

Answer 1

檢查點的確切點是保存所有的數據。這使得突破沿襲和「遺忘」過去。在不保存數據的情況下，根本無法做到這一點。