0
我已經使用ambari在spark-env.sh中設置了PYSPARK_PYTHON = python3，並且當我在命令行中嘗試'pyspark'時，它使用python 3.4.3 。但是，當我使用yarn cluster模式提交作業時，它使用python 2.7.9運行。我如何使它使用python3？Pyspark在紗線集羣模式下不使用python3，即使使用PYSPARK_PYTHON = python3
A
回答
0
你需要給像python3的完整路徑：
subprocess.call(['export PYSPARK_PYTHON=/usr/local/bin/python2.7'],shell=True)
相關問題
- 1. 使用紗線集羣
- 2. 使用virtualenv以紗線/火花集羣模式運行python
- 3. 使用python3 requests.Session（）
- 4. 使用python3
- 5. 在vim_configurable.customize中使用python3覆蓋python3
- 6. 無法使用Python3
- 7. 如何使用python3
- 8. pygame的使用Python3在Mac
- 9. 在Python3中使用re2
- 10. ploblem使用CSV在python3
- 11. 如何使用* ARGS在Python3
- 12. 火花提交--proxy用戶不紗線集羣模式下工作
- 13. 在紗線集羣上對管道使用addFile
- 14. 紗線和集羣模式下的打印火花命令
- 15. 在Spark 2.1.0上使用python3在齊柏林飛艇上使用pyspark
- 16. 如何在python3中使用re模塊替換模式
- 17. Python3 - tkinter導入和使用模塊
- 18. 如何使用格式化的Python3
- 19. 創建和使用python3
- 20. 如何使用lambda將python3
- 21. python3默認編碼使用
- 22. Python3.x - 使用字典
- 23. 在羣集模式使用DistributedCached
- 24. 使用多線程處理文件使用python3
- 25. python3請求使用quote而不是quote_plus
- 26. 我如何使pyinvoke使用python3？
- 27. 僅在紗線集羣模式下的服務器上運行的Spark任務
- 28. 在Python3中使用HTMLParser解析HTML
- 29. 如何在Python3中使用TOR urllib.request.urlopen（）？
- 30. 使用的virtualenv與python3在openSUSE的
我已經設置spark-env.sh與「出口PYSPARK_PYTHON =的/ usr/bin中/ python3.4 出口PYSPARK_DRIVER_PYTHON =的/ usr/bin中/python3.4「，但它仍然是一樣的。使用python2 – mankand007