2017-07-25 116 views
0

我在尋求一些幫助,我的任務是在工作中站立Hadoop集羣。我已經用開源堆棧在家裏的筆記本電腦上完成了單節點資料(我試圖堅持開源,Apache堆棧以避免任何許可費用,現在我們對Cloudera或HortonWorks沒有興趣)。在RHEL上安裝Apache Bigtop 7

我遇到了Apache BigTop堆棧(1.2.0),並在那裏捅了一下。現在我仍然試圖圍繞這個提供的東西(我沒有找到對Hadoop/Spark版本的引用等)。我可以在以下方面獲得一些幫助:

  1. 1.2.0版本提供了哪些版本的Hadoop/Spark /其他工具?

  2. 在RHEL 7下從頭開始安裝完整的Hadoop/Spark集羣是否有很好的參考?我有12臺服務器,我打算做2個namenode和10個datanodes。 BigTop適用於此,還是應該只安裝每個軟件包並手動配置?

  3. 我發現:

https://cwiki.apache.org/confluence/display/BIGTOP/How+to+install+Hadoop+distribution+from+Bigtop+1.2.0

這看起來很有希望,但其對CentOS的7,這是我所知道的是相似,但不完全相同。有人可以建議我如何修改這個在RHEL 7下工作嗎?我找到了回購站,但沒有一個用於RHEL ....

  1. 該文檔在官方的Apache頁面上看起來很渺茫,或者我只是沒有在正確的位置尋找.. 。有完整集羣安裝的參考鏈接嗎?

感謝所有能幫忙的人,我真的很感激!

回答

0

1.2.0版本提供了哪些版本的Hadoop/Spark /其他工具?

結帳我們的文檔爲1.2.0版本:

https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

你會得到Hadoop的2.7.3和2.1.0的火花外的開箱。我們提供的S3安裝文物爲您測試出的功能

https://www.apache.org/dist/bigtop/bigtop-1.2.0/repos/centos7/bigtop.repo

注意:我們將在10/15有效地擁有S3的遷移,2017年我們將有後相應的變化。如果你想盡快嘗試一下。請更改的BaseURL到:

http://repos.bigtop.apache.org/releases/1.2.0/centos/7/x86_64

是否有RHEL 7下從頭開始安裝一個完整的Hadoop /星火簇一個很好的參考?我有12臺服務器,我打算做2個namenode和10個datanodes。 BigTop適用於此,還是應該只安裝每個軟件包並手動配置?

RHEL和CentOS應該非常相似。我建議:

  • 直接在RHEL上試試我們的CentOS軟件包,看看是否有效。我在生產環境中使用了RHEL 6上的Bigtop CentOS 6軟件包,它的功能如同一種魅力。
  • 如果上述不起作用,Bigtop是一個完全開源的解決方案,可供您構建自己的Hadoop發行版。您可以根據您所需的Distro構建整個堆棧。從頭開始。我們有很好的工具和dockerlized框架來支持它。如果你要這麼做,請在[email protected]郵件列表中提出你的需求。我們很樂意提供幫助。

我發現: https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

是。您正在尋找合適的文檔。這正是我上面提到的:雖然是用於CentOS 7,但您可以嘗試RHEL 7上的回購。