將sparklyr連接到遠程火花連接

Question

我想通過sparklyr將本地桌面RStudio會話連接到遠程spark會話。當您在RStudio的sparklyr ui選項卡中添加新連接並選擇羣集時說您必須在羣集上運行，或者與羣集具有高帶寬連接。

任何人都可以闡明如何創建這種連接？我不知道如何創建的這個重複的例子，但一般我會做的是：

library(sparklyr) 
sc <- spark_connect(master = "spark://ip-[MY_PRIVATE_IP]:7077", spark_home = "/home/ubuntu/spark-2.0.0", version="2.0.0") 

從遠程服務器

。我知道會有延遲，特別是如果試圖在遙控器之間傳遞數據。我也明白，在實際羣集上安裝第一臺音頻服務器會更好 - 但這並非總是可行，而且我正在尋找一個閃亮的選項，用於在我的服務器和桌面RStudio會話之間進行交互。謝謝。

Answer 1

從sparklyr版本0.4起，不支持從RStudio桌面連接到遠程Spark羣集。相反，正如你所提到的，推薦的方法是在Spark集羣中安裝RStudio Server。

也就是說，sparklyr的livy branch正在探索與Livy的整合，這將使RStudio桌面通過Livy連接到遠程Spark羣集。