阿帕奇星火：如何使用Python 3 pySpark發展

Question

到目前爲止，我已經做了以下內容：

import os 

os.environ["SPARK_HOME"] = '/usr/local/spark/' 
os.environ["PYSPARK_PYTHON"] = '/opt/conda/bin/python' 

from pyspark import SparkContext 

但是當我跑我的錯誤：

ssh://vagrant@127.0.0.1:2222/opt/conda/bin/python -u /home/vagrant/src/spark.py 
Traceback (most recent call last): 
    File "/home/vagrant/src/spark.py", line 6, in <module> 
    from pyspark import SparkContext 
ModuleNotFoundError: No module named 'pyspark' 

即使我嘗試不使用Python3路徑運行它我得到相同的錯誤。

的Python版本SPARK這裏給出：

/usr/local/spark/python 

什麼錯我在幹嘛？

理想情況下，我想爲我的腳本使用Python3。

Answer 1

嘗試：

import sys 
sys.path.append('/usr/local/spark/python/pyspark') 

或直接的方式：

sudo ln -s /usr/local/spark/python/pyspark /usr/local/lib/python2.7/site-packages