如何將Ignite隊列轉換爲Spark Dataframe？

Question

我們需要獲取Ignite Queue的內容，該Ignite Queue將羣集中的大型數據集保存爲Spark數據框。

目前我們做下圖。

var array: Array[Row] = Array() 
array = igniteQueue.toArray(array) 

但這帶來的igniteQueue到單個邊緣節點的所有分發的內容作爲使溢出異常的陣列。

有沒有辦法將spark數據作爲Spark Dataframe來獲取？以便數據將分發

在此先感謝！

Answer 1

檢查IgniteContext & IgniteRDD documentation - 這是Spark-Ignite集成的主要入口點。

由於IgniteRDD是Ignite緩存的實時視圖，因此不需要從Ignite顯式地將數據加載到Spark應用程序。在創建IgniteRDD實例後，所有RDD方法都可立即使用。

例如下面的Scala代碼會發現包含單詞的所有值「點燃」：

val cache = igniteContext.fromCache("partitioned") 
val result = cache.filter(_._2.contains("Ignite")).collect() 

此外，還要檢查該Java example