如何Pyspark

Question

我想在Pyspark上運行Cloudera的腳本的Python VM

首先我通過

$ which pyspark 
$ pyspark 

運行pyspark啓動火花後運行Python腳本，我想：

$ spark-submit /home/cloudera/test.py 

給我 「的名字 '火花' 沒有定義」

$ ./bin/spark-submit /home/cloudera/test.py 

給我「SyntaxError：invalid syntax」

我知道網上有很多類似的問題，但我仍然無法弄清楚。有人可以幫忙嗎？

Answer 1

通過調用spark-shell按預期安裝檢查火花。也請嘗試PySpark Shell並嘗試測試test.py文件中的內容。一旦你成功嘗試spark-submit

Answer 2

你將不得不從集羣本身運行spark-submit shell。你不必進入它。

如果你想以交互方式運行代碼（逐行輸入或複製/粘貼），那麼你會使用pyspark。

希望幫助