2
我是Spark新手。我已經在多個地方閱讀過，在RDD上使用cache（）會導致它被存儲在內存中，但到目前爲止我還沒有找到關於「如何確定最大數據大小」的明確指導方針或經驗法則，塞進內存？如果我稱爲「緩存」的數據量超過內存，會發生什麼情況？它會導致我的工作失敗，還是會對羣集性能產生顯着影響？如果數據無法與Spark中的cache（）配合使用會發生什麼？
謝謝！
A
回答
6
正如在the official documentation與MEMORY_ONLY持久性（相當於cache）中明確提出：
如果RDD不裝入內存，某些分區將不會被緩存，將在每次飛行重新計算他們需要。
即使數據適合內存，如果有新數據進來，它也可以被驅逐。在實踐中，緩存更像是暗示而不是契約。你不能依靠緩存發生，但你也不必如果它成功。
參見：
相關問題
- 1. 如果Spark廣播連接太大會發生什麼？
- 2. 如果HttpClient.execute（）中斷會發生什麼？
- 3. 如果主從站無法通信會發生什麼？
- 4. 如果kmem_cache沒有可用內存分配會發生什麼？
- 5. 爲什麼我無法替換使用GHC分發的庫？如果我這樣做會發生什麼？
- 6. Hibernate，如果beginTransaction不會被使用會發生什麼？
- 7. 如果我在IntentService中使用AsyncTask會發生什麼？
- 8. 如果MySQL數據庫未關閉，會發生什麼情況？
- 9. 如果證書被丟棄，加密數據會發生什麼？
- 10. 如果服務器終止，TCP數據包會發生什麼？
- 11. 如果action =「」會發生什麼？
- 12. 如果我自己調用run（）方法會發生什麼？
- 13. 如果你傳入一個無效的widgetvar會發生什麼？
- 14. 如果未安裝代碼合同，會發生什麼情況？
- 15. 如果枚舉不適合整型，會發生什麼？
- 16. 如果在aof中使用fdatasync（）時發生崩潰，數據將會發生什麼？
- 17. 爲什麼NSUserDefaults無法與Firebase配合使用
- 18. YARN「Fair Scheduler」如何與spark-submit配置參數配合使用
- 19. 如果我使用printf（「one \ 0two」），會發生什麼情況;？
- 20. 如果不使用Xmx會發生什麼情況？
- 21. 如果我爲html表單使用表格會發生什麼？
- 22. 如果我在鏈接時不使用-g，會發生什麼
- 23. 如果.h文件名與@interface名稱iOS不匹配，會發生什麼
- 24. 如果我不關閉Android中的數據庫會發生什麼？
- 25. 如果DTD鏈接無處可逃，會發生什麼情況？
- 26. 如果使用.forceCache（）如果沒有緩存的話會發生什麼？
- 27. 如果構造函數拋出`new`分配的內存會發生什麼？
- 28. Apache spark - 如果您錯誤地拼寫屬性會發生什麼
- 29. 如果發生異常，Laravel DB Transaction會發生什麼？
- 30. DatastoreService批量刪除。如果發生異常，會發生什麼