與Jupyter

Question

Pyspark整合

我已經在我的機器上安裝蟒蛇（Python的2.7版本），並通過該I」我連接到jupyter筆記本，但無法運行「與「PYSPARK_DRIVER_PYTHON = jupyter」和PYSPARK_DRIVER_PYTHON_OPTS =「記事本」開始jupyter筆記本打印「命令也。當我運行命令時，它將進入下一行但不顯示輸出，並且打印顏色不會突出顯示。

我已經安裝了pyspark，並在Windows機器（獨立模式）的命令提示符下運行，其工作正常.....但我需要在jupyter筆記本（windows）中運行。有誰能夠幫助我？？

Answer 1

這就是你需要做的所有事情，當你已經有了pyspark外殼正如你剛纔提到的那樣設置了Pupper和Windows之後，

1. 添加兩個新的環境變量，設置

   • PYSPARK_DRIVER_PYTHON從CMD提示jupyter
   • PYSPARK_DRIVER_PYTHON_OPTS筆記本

2. 運行pyspark，而不是 'jupyter notebook'

這應該可以解決問題。

Answer 2

對於最新的設置，查看他們的官方jupyter碼頭回購。

這是Jupyter 4.x的星火2.1.0，Hadoop的2.7

docker run -it --rm -p 8888:8888 jupyter/pyspark-notebook 

Jupyter Notebook Python, Spark, Mesos Stack

作爲旁註，

1 jupyter使用的配置文件，而，IPython中使用的配置文件。我相信如果你想在本地運行火花獨立。看看Dockerfile並找出它的魔力。在https://github.com/jupyter/docker-stacks