S3 NoSuchKey錯誤訪問Apache Ambari 2.5.1的yum存儲庫

Question

我已經在CentOS 6.9中構建並安裝了Apache Ambari 2.5.1。 （通過Installation Guide for Ambari 2.5.1）。

我在啓動「ambari-server」和「ambari-agent」後打開了Ambari UI。默認的Apache Ambari 2.5.1 Public Repository爲「http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/BUILDS/2.6.3.0-63」和「http://s3.amazonaws.com/dev.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6」。我打開瀏覽器並輸入url，瀏覽器顯示指定的鍵不存在。所以我認爲Apache Ambari 2.5.1 Public Repository不存在。

<Error> 
    <Code>NoSuchKey</Code> 
    <Message>The specified key does not exist. </Message> 
    <Key>HDP/centos6/2.x/BUILDS/2.6.3.0-63</Key>  
    <RequestId>81EA7B258C7ACDB4</RequestId> 
    <HostId> 
    3DEhVcTN7/LxCsa8doX8LNm1ltXGEvUI/5o4hOtKAooNU9iC58NeT8SwJPdE2ZbvXEGb4Hk7mIc= 
    </HostId> 
</Error> 

你能幫我弄清楚這個問題嗎？謝謝！

Answer 1

這些實際上是有效的百勝庫。 yum回購可以通過HTTP提供。 Ambari正在使用AWS S3存儲桶作爲通過HTTP爲yum回購提供文件的便捷方式。

當您導航到URL時，您無法在瀏覽器中輕鬆查看任何內容的原因是，S3並未像提供靜態內容的傳統Web服務器那樣真正將文件保存在目錄層次結構中。相反，它提供了鍵與對象的映射，應用程序通常使用尾隨/的慣例來模擬目錄。

儘管您的問題中的網址並未向瀏覽器提供有意義的內容，但我們可以使用AWS Command Line Interface來檢查存儲分區。 （下面的輸出被調整爲簡潔。）

> aws s3 ls s3://dev.hortonworks.com/HDP/centos6/2.x/BUILDS/2.6.3.0-63/ 
          PRE RPM-GPG-KEY/ 
          PRE accumulo/ 
          PRE atlas/ 
          ... 
          PRE hadoop/ 
          ... 
          PRE hive/ 
          PRE hive2/ 
          ... 
2017-07-17 18:03:01  2630 HDP-2.6.3.0-63.xml 
2017-07-17 18:03:01  20366 artifacts.txt 
2017-07-17 18:03:01  542 build.id 
2017-07-17 18:03:01  8473 build_metadata.txt 
2017-07-17 18:03:01  908 hdp-canary.repo 
2017-07-17 18:03:01  602 hdp.repo 
2017-07-17 18:03:01  578 hdp_private.repo 
2017-07-17 18:03:01  574 hdp_public.repo 
2017-07-17 18:03:01  612 hdpbn.repo 
2017-07-17 18:03:09  497 hotfix_index.html 
2017-07-17 18:03:06  502 index.html 
2017-07-17 18:03:08  494 private_index.html 
2017-07-17 18:03:07  493 public_index.html 

我們可以看到有不同的子目錄用於在Apache的Hadoop生態系統組件。我們還可以看到一個index.html文件的存在，所以這個網址在瀏覽器上運行：

http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/BUILDS/2.6.3.0-63/index.html

我們也看到文件的.repo，定義這是有效的yum軟件庫：

> curl http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/BUILDS/2.6.3.0-63/hdp.repo 
#VERSION_NUMBER=2.6.3.0-63 
[HDP-2.6.3.0] 
name=HDP Version - HDP-2.6.3.0 
baseurl=http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0 
gpgcheck=1 
gpgkey=http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins 
enabled=1 
priority=1 


[HDP-UTILS-1.1.0.21] 
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21 
baseurl=http://s3.amazonaws.com/dev.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6 
gpgcheck=1 
gpgkey=http://s3.amazonaws.com/dev.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins 
enabled=1 
priority=1