2017-02-27 89 views
1

我已按照本書中的說明:「Apache Spark在24小時內」中的說明在我的Mac上安裝了spark。當我在火花目錄,我可以通過使用命令來運行pyspark:安裝Apache Spark後無法從Mac上的任何目錄運行pyspark命令

./bin/pyspark 

要安裝的火花,我創建了環境變量:

export SPARK_HOME=/opt/spark 

它添加到路徑:

export PATH=$SPARK_HOME/bin:$PATH 

書上說,我應該能夠運行「pyspark」或從任何目錄下的「火花殼」命令,但它不工作:

pyspark: command not found 

我接着問別人放在這裏就類似的問題說明:

設置我的JAVA_HOME環境變量:

export JAVA_HOME=$(/usr/libexec/java_home) 

我也跑以下命令:

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH 

當我運行env命令這是輸出:

SPARK_HOME=/opt/spark 
TERM_PROGRAM=Apple_Terminal 
SHELL=/bin/bash 
TERM=xterm-256color 
TMPDIR=/var/folders/hq/z0wh5c357cbgp1dh33lfhjj40000gn/T/ 
Apple_PubSub_Socket_Render=/private/tmp/com.apple.launchd.fJdtLqZ7dN/Render 
TERM_PROGRAM_VERSION=361.1 
TERM_SESSION_ID=A8BD2144-72AD-402C-A591-5C8A43DD398B 
USER=richardgray 
SSH_AUTH_SOCK=/private/tmp/com.apple.launchd.cQeqaF2v1z/Listeners 
__CF_USER_TEXT_ENCODING=0x1F5:0x0:0x0 
PATH=/opt/spark/bin:/Library/Frameworks/Python.framework/Versions/3.5/bin: /Library/Frameworks/Python.framework/Versions/3.5/bin:/Library/Frameworks/Python.framework/Versions/2.7/bin:/usr/local/heroku/bin:/Users/richardgray/.rbenv/shims:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/X11/bin 
PWD=/Users/richardgray 
JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_25.jdk/Contents/Home 
LANG=en_GB.UTF-8 
XPC_FLAGS=0x0 
XPC_SERVICE_NAME=0 
SHLVL=1 
HOME=/Users/richardgray 
PYTHONPATH=/opt/spark/python/lib/py4j-0.9-src.zip:/opt/spark/python/: 
LOGNAME=richardgray 
_=/usr/bin/env 

有什麼我失蹤?提前致謝。

+0

'LS的/ opt /火花/ bin',看看二進制代碼可以 –

+0

你可以只使用自制軟件,順便 –

回答

1

你寫

當我在火花目錄,我能夠通過使用 運行命令pyspark:./bin/pyspark

您創建export SPARK_HOME=/opt/spark

能否請您確認spark directory確實是/opt/spark

如果從/Users/richardgray/opt/spark/bin執行火花請設置:

export SPARK_HOME=/Users/richardgray/opt/spark 

依次爲:

export PATH=$SPARK_HOME/bin:$PATH 

注意:如果解決你的問題,你需要這兩個出口添加到您的登錄腳本(例如.profile)這樣的路徑將被自動設置

+0

火花的確是從選擇的/ opt /火花 –

+0

LS /火花: –

+0

LICENSE \t \t \t \t CONF \t \t metastore_db 注意\t \t \t \t數據\t \t蟒 ř\t \t \t \t的derby.log \t sbin目錄 README.md \t \t例子\t \t斯卡拉 - 2.12.1.deb RELEASE \t \t \t罐子\t \t \t火花倉庫 斌\t \t \t許可證\t \t紗 –