S3存儲桶名稱被添加到S3端點

當試圖使用Scala從S3存儲桶存取文件時，存儲桶名稱被添加到端點的前端，並且端點變得錯誤並且不可訪問。S3存儲桶名稱被添加到S3端點

庫：

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0" 
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.0.0" 
libraryDependencies += "org.apache.hadoop" % "hadoop-aws" % "2.8.0"

代碼：

sc.hadoopConfiguration.set("fs.s3a.endpoint", "[endpoint]") 
sc.textFile("s3a://[bucket_name]/testa.txt")

來源

2017-04-07 Melon

你的「端點」不是's3 [-region] .amazonaws.com'？ –

不，這是一個自定義端點，而不是* .amazonaws.com。 – Melon

那麼，實際上不是S3，那麼S3的兼容性呢？ –

啓用path style URLs解決問題，因爲有在安裝S3服務器上做任何虛擬主機的配置。 fs.s3a.path.style.access（docs）可以設置爲true以啓用路徑樣式URL。

來源

2017-04-08 18:52:54 Melon

S3存儲桶名稱被添加到S3端點

回答

相關問題