2017-03-08 105 views
2

無連接可以作出,因爲目標機器積極地拒絕它127.0.0.1:some端口號SparkClr:Sparkcontext給出了一個錯誤

這裏是我的代碼,我只是在控制檯應用程序中寫道Programe.cs是

using System; 
using System.Collections.Generic; 
using System.Linq; 
using System.Text; 
using System.Threading.Tasks; 
using Microsoft.Spark.CSharp.Core; 

namespace DemoSpark 
{ 
class Program 
{ 
    static void Main(string[] args) 
    { 
     var Sparkcontext = new SparkContext(new SparkConf().SetAppName("Demo")); 
     Sparkcontext.Stop(); 
     Console.WriteLine("Done"); 
    } 
} 
} 

而例外的是有沒有截圖 1]:https://i.stack.imgur.com/FWKQo.png

回答

4

您不能直接運行可執行程序Programe.cs。相反,它應該提交給你的火花集羣。首先,你必須設置你的環境,以指向莫比烏斯源或發佈目錄:

set SPARKCLR_EXT_JARS=C:\Code\Mobius\build\localmode\..\runtime\dependencies\spark-csv_2.10-1.4.0.jar,C:\Code\Mobius\build\localmode\..\runtime\dependencies\commons-csv-1.4.jar 
set SPARKCLR_HOME=C:\Code\Mobius\build\localmode\..\runtime 
set SPARK_HOME=C:\Code\Mobius\build\localmode\..\tools\spark-2.0.2-bin-hadoop2.6 
set "JAVA_HOME=C:\Program Files\Java\jdk1.8.0_66" 
set HADOOP_HOME=C:\Code\Mobius\build\localmode\..\tools\winutils 

接下來,你需要提交可執行火花。這是在本地模式下運行的樣品的例子:

C:\Code\Mobius\build\runtime\scripts\sparkclr-submit.cmd --jars %SPARKCLR_EXT_JARS% --conf spark.sql.warehouse.dir=C:\Tests --exe SparkCLRSamples.exe C:\Code\Mobius\build\runtime\samples --temp C:\Temp --data C:\Data\Mobius 

請記住,--exe選項後,任何被使用的火花工人來調用可執行文件,包括命令行參數。

有關其他羣集選項,請參見documentation

+0

感謝大衛它的作品。 –

1

嘗試禁用Windows防火牆一會兒,看是否可以幫助,如果它是問題Ø筆端口根據需要。 「主動拒絕它」意味着當您嘗試連接時,主機發送重置而不是確認。

+0

感謝您的答案,但windows防火牆alreeady禁用。你有其他解決方案嗎? –