如何從多個會話訪問相同的Spark RDD？

Question

我有共同的數據集，需要在多個程序/過程中使用。我如何創建一個Spark RDD並在多個Scala程序中共享相同的RDD？

Answer 1

也許你可以看看IgniteRDD，這可能會幫助你分享RDD多個星火計劃https://ignite.apache.org/features/igniterdd.html

Answer 2

考慮Spark-Jobserver。 Jobserver的主要職責是成爲一個REST接口，但副作用是可以讓RDD保持活動狀態並在作業之間共享它們。