RDD可以從不同的火花環境訪問

Question

我是新來的火花。是否可以使用在不同的火花上下文中定義的RDD？如果是的話。

即，

我們在spark1中創建一個配置單元表t1的RDD。

我們可以在不同的火花作業中使用（參考）RDD。

Answer 1

星火不會支持RDD兩個不同sparkcontext之間共享相同，但可以利用

一]的Tachyon

B]阿帕奇點燃來實現：點燃igniteContext使用它你可以分享RDDS provices。 IgniteRDD是原生Spark RDD和DataFrame API的實現，除了所有標準RDD功能外，它還與其他Spark作業，應用程序和工作人員共享RDD的狀態。

參考：https://ignite.apache.org/features/igniterdd.html

Answer 2

RDD綁定到應用程序，因此無法在應用程序之間共享。您只需保存數據（例如在HDFS，S3上）並將其從另一個應用程序讀取爲RDD。

Answer 3

是的，你可以做到這一點與Apache的幫助下點燃所以經過以下鏈接 https://ignite.apache.org/