python/pyspark版本的Jupyter問題

Question

我正在運行一個使用pyspark內核的Jupyter筆記本。我收到以下錯誤。我如何強制Jupyter（理想情況下從Jupyter內部）使用正確的驅動程序？

Python中的工人在駕駛2.7不同的版本2.6比，PySpark不能用不同的次要版本

運行謝謝

哈尼族

Answer 1

這可能是你pyspark 問題kernel.json配置。比如我pyspark內核位於：

/usr/local/share/jupyter/kernels/pyspark/kernel.json 

，包含：

{ 
"display_name": "pySpark (Spark 1.6.0)", 
"language": "python", 
"argv": [ 
    "/usr/local/bin/python2.7", 
    "-m", 
    "ipykernel", 
    "-f", 
    "{connection_file}" 
], 
"env": { 
    "PYSPARK_PYTHON": "/usr/local/bin/python2.7", 
    "SPARK_HOME": "/usr/lib/spark", 
    "PYTHONPATH": "/usr/lib/spark/python/lib/py4j-0.9-src.zip:/usr/lib/spark/python/", 
    "PYTHONSTARTUP": "/usr/lib/spark/python/pyspark/shell.py", 
    "PYSPARK_SUBMIT_ARGS": "--master yarn-client pyspark-shell" 
} 
} 

這是非常重要點在這兩個地方同樣的Python版本（的argv和PYSPARK_PYTHON） 。

希望有幫助！