2015-02-06 48 views
1

我想在HDP 2.2中使用Ipython和Spark,但似乎ipython僅支持從python 2.7。 我已經安裝了Spark並進行了很好的測試,但是在使用yum命令安裝ipython之後,python版本出現問題。如何使用Spark和Python更新HDP 2.2中的python 2.7

[[email protected] spark12]# ipython 
Python 2.6.6 (r266:84292, Jan 22 2014, 09:42:36) 
Type "copyright", "credits" or "license" for more information. 

IPython 0.13.2 -- An enhanced Interactive Python. 
?   -> Introduction and overview of IPython's features. 
%quickref -> Quick reference. 
help  -> Python's own help system. 
object? -> Details about 'object', use 'object??' for extra details. 

IPython的單獨運行,但是當我試圖用pyspark使用它:

[[email protected] spark12]# IPYTHON=1 ./bin/pyspark 
IPython requires Python 2.7+; please install python2.7 or set PYSPARK_PYTHON 

我想知道如何更新蟒蛇2.6〜2.7。看來系統阻止我卸載python 2.6。我的感覺是,Python與hadoop系統集成在一起,很難單獨更新。

回答

3

有點遲,我知道,但我有一個類似的問題,使用CentOS。

我可以通過下載一個Python 2.7版本的蟒蛇分佈

wget http://repo.continuum.io/archive/Anaconda2-2.5.0-Linux-x86_64.sh

比較容易地解決它在已下載

bash Anaconda2-2.5.0-Linux-x86_64.sh

,並按照指示 - 選擇安裝anaconda並將此位置添加到路徑的位置。

一旦完成,類型

source ~/.bashrc

然後,您應該能夠與Pyspark

[[email protected] ~]$ IPYTHON_OPTS="notebook" $SPARK_HOME/bin/pyspark [I 09:43:06.241 NotebookApp] Serving notebooks from local directory: /home/user [I 09:43:06.241 NotebookApp] 0 active kernels [I 09:43:06.241 NotebookApp] The Jupyter Notebook is running at: http://localhost:8888/

運行的IPython
3
  1. Python未與Hadoop系統集成。
  2. Python 2.6.6是Centos 6.5/RHEL 6的默認版本。
  3. 在任何情況下,您都不應嘗試卸載/更新默認版本,因爲它具有系統依賴關係。
  4. 你可以做的是install a newer版本的python作爲現有的替代版本。 並使用新版本啓動IPython。