我在現有Hadoop集羣上設置R。到目前爲止,我已將R rms和相關庫軟件包安裝在羣集的一個節點(EDGE節點)部分中,並且按預期工作。 Rrpms安裝在羣集的所有服務器上,還是隻安裝在所有服務器上的庫目錄 (本例中爲/usr/lib64/R/library)?Hadoop集羣上的R安裝
回答
對於rmr,您需要隨處安裝,對於rhdfs您不需要,對於rhive我不知道。安裝意味着R rms或同等和必要的依賴關係。就同步lib dirs而言,我嘗試了類似的方法來簡化rmr2的部署,但我們(客戶端和我一致)都拉住了插件,因爲它看起來非常脆弱(取決於所有庫是完全相同的) 。它在一個非常受控制的環境中工作,但我們同步整個事情,而不僅僅是圖書館。
感謝Piccolbo。根據你的陳述「_but但我們同步整個事情,不僅僅是圖書館。」 - 你的意思是..所有的R核心rpms安裝在所有節點上,並且庫在所有節點上同步。是嗎? ? –
不確定你的意思是「核心」。我們只是在R_HOME下發布了整個子樹。您仍然可以在rmr2的0安裝分支中找到該原型(現在已過時)。 – piccolbo
我只是碰到一篇文章,解釋如何創建可移植的二進制文件:https://pmelsted.wordpress.com/2015/10/14/building-binaries-for-bioinformatics/你也可以考慮這個http:///fumodibit.blogspot.com/2013/04/modifying-r-to-obtain-relocatable.html以獲得R_HOME的靈活性,這可能需要在羣集上部署 – piccolbo
- 1. 在hadoop集羣上安裝spark集羣
- 2. 在現有Hadoop集羣上安裝Spark
- 3. 在Hadoop集羣中安裝Cassandra
- 4. Ubuntu上的Hadoop多節點羣集手動安裝14.04
- 5. Ubuntu 12.04 LTS上安裝了Hadoop單節點集羣?
- 6. 何處在多節點hadoop集羣上安裝Java?
- 7. java.lang.NoClassDefFoundError:上運行Hadoop集羣
- 8. 爲Hadoop集羣
- 9. hadoop的多節點集羣安裝在2個machies
- 10. Hbase在三節點hadoop集羣中的安裝
- 11. Hadoop集羣與碼頭羣
- 12. 在紗線集羣上安裝火花
- 13. 在Google雲羣集上安裝OpenMPI
- 14. 備份Hadoop以安裝新羣集,最佳做法
- 15. apache Hadoop-2.0.0 aplha版本安裝完全集羣使用fedration
- 16. 的UnknownHostException上的TaskTracker在Hadoop集羣
- 17. h2o連接到hadoop集羣上的集羣
- 18. Hbase Hadoop集羣.. java.io.IOException:java.lang.NoSuchMethodExceptio
- 19. Hadoop集羣工作
- 20. glibc集羣本地安裝
- 21. 優化hadoop集羣上的nutch性能
- 22. Hadoop集羣上的Namenode和Jobtracker信息
- 23. 在一羣機器上安裝Hadoop的結構腳本?
- 24. ubuntu12.10上的Hadoop安裝
- 25. Windows上的Hadoop安裝
- 26. 沒有Hadoop的Canopy集羣
- 27. Hadoop的2節點集羣
- 28. 在hadoop集羣上部署Mahout
- 29. 在Hadoop集羣上運行Mahout
- 30. 在Hadoop Virtualbox羣集上訪問文件
你的目標是? – piccolbo
目標是通過R shell _(rmr,rhive,rhdfs應該可訪問)執行hadoop MR作業。用戶只能登錄到EDGE節點。 –