0
我有一個Spark應用程序，它在運行時基於數據集緩存RDD並執行操作。緩存中有多少RDD Spark
爲了監控目的，我希望在應用程序運行時找出緩存中RDD的數量，Spark是否提供任何API來查找此詳細信息？
A
回答
1
它可以使用Spark REST API它提供了兩個端點：
/applications/[app-id]/storage/rdd- 所有存儲RDDS的名單。/applications/[app-id]/storage/rdd/[rdd-id]- 特定RDD的詳細信息。
+0
它在我的本地開發環境中工作。但在我的黃金/鉑金環境中，spark線程服務器安裝在紗線上:(是否有其他選擇？ –
相關問題
- 1. Spark RDD緩存將走多遠？
- 2. Spark：它將RDD保存在緩存中的時間有多長
- 3. 減少Spark RDD返回多個值
- 4. 上緩存RDD
- 5. 在Apache Spark中緩存RDD的目的是什麼？
- 6. Apache Spark Rdd持續存在
- 7. 沒有足夠的空間在內存中緩存rdd警告
- 8. 在apache-spark RDD中處理多個'行'
- 9. 在Spark中使用多列RDD？
- 10. Spark採樣 - 比使用完整RDD/DataFrame速度快多少
- 11. 高速緩存後「採取」行動RDD導致只有2％高速緩存
- 12. 在wordpress中緩存多少是太多
- 13. 其他RDD中的Java Spark RDD？
- 14. Spark RDD apend
- 15. Firebase Spark版本中有多少項目？
- 16. Spark Spark RDD中的字符串替換
- 17. 像Spark中現有的RDD一樣分配新的RDD？
- 18. Spark SQL中的緩存表
- 19. 在Spark Streaming中緩存DStream
- 20. Spark-Scala：另存爲csv文件（RDD）
- 21. Hbase Spark RDD JSON列
- 22. RDD到Dataframe Spark Couchbase
- 23. Spark scala RDD遍歷
- 24. ASP.NET對象緩存 - 多少太多？
- 25. 在瀏覽器中緩存對象時，多少內存太多？
- 26. 在android中有多少緩存大小可用？
- 27. 在asp.net中有多少類型的緩存？
- 28. spark將spark-SQL轉換爲RDD API
- 29. 緩存查詢性能Spark
- 30. Spark流緩存和轉換
@ zero323。這個解決方案只適用於當我想在同一應用程序中獲取緩存rdd。但我想在單獨的程序/應用程序中找到緩存RDD。 –