jets3t

0熱度

2回答

從Scala或Java程序檢查S3存儲桶是否具有匹配某個特定鍵模式的對象的好方法是什麼？也就是說，如果我有一個名爲「CsvBucket」的桶，我該如何檢查它是否包含鍵匹配模式「processed/files/2015/8/*。csv」的對象？感謝

8熱度

2回答

EntityTooLarge錯誤上傳5G的文件到Amazon S3時

Amazon S3的文件大小限制應該根據這個announcement是5T，但上傳5G文件 '/mahler%2Fparquet%2Fpageview%2Fall-2014-2000%2F_temporary%2F_attempt_201410112050_0009_r_000221_2222%2Fpart-r-222.parquet' XML Error Message: <?xml

4熱度

2回答

從Apache Spark將分段上傳到Amazon S3

如何在將數據保存到Amazon S3時使Apache Spark使用分段上傳。 Spark使用RDD.saveAs...File方法寫入數據。當目的地以s3n://開頭時，Spark會自動使用JetS3Tt進行上傳，但對於大於5G的文件，此操作將失敗。需要使用分段上傳將大文件上傳到S3，這對於較小的文件也是有利的。在JetS3Tt中支持分段上傳，帶有MultipartUtils，但Spark在默認

0熱度

1回答

如何使用Spark與谷歌雲存儲的「互操作性模式」？

Google以「Interoperability Mode」的形式提供對其雲存儲服務的「s3兼容」訪問權限。我們在封閉的網絡上運行火花，我們與互聯網的連接是通過代理。 Google自己的用於雲存儲的hadoop連接器沒有針對代理的任何配置設置，因此我們必須使用內置的spark s3a連接器，該連接器允許您設置所有需要設置的屬性以使用可以通話的代理到互聯網，並通過核心的site.xml適當的谷歌U

0熱度

1回答

如何使用jets3t API訪問並讀取共享桶的桶信息？

這是我的錯誤的解釋。我在Eucalyptus（開源）註冊了兩個用戶的A，B。我在用戶A的帳戶中使用Jets3t API創建了一個存儲桶B1，並授予了對用戶B的讀取權限（使用「CanonicalGrantee」接口）。同時列出訪問控制列表使用的憑據，我得到的FULL_CONTROL對於A和讀取B.但是當我試圖用B的憑據訪問桶B1的信息，我得到這個錯誤異常線程「main」 org.jets3t。 s

3熱度

1回答

使用Spark/Hadoop從S3讀取時發生錯誤

我正嘗試使用Spark從Amazon S3讀取數據。但我越來越 java.lang.NoClassDefFoundError: org/jets3t/service/S3ServiceException 從一個Hadoop調用。我試過dwnloading jets3t並將所有包含的jar添加到我的類路徑但它沒有幫助。這裏是正在發生的事情的完整記錄： scala> val zz = sc

3熱度

1回答

在Android上使用JetS3t時引發IncompatibleClassChangeError異常

我正在開發一個Android應用程序，該應用程序將上傳一些文件到Google Cloud Storage。爲此，我使用JetS3t java工具包0.9。我試圖在標準的Java項目上使用它，並且工作得很好，但是當我想在Android項目上使用它時，我收到了一個異常。我有問題實例時的JetS3t谷歌存儲服務，例如： GoogleStorageService gsService = new Goog

0熱度

1回答

使用hadoop從S3'requester pay'下載數據時發生錯誤

我使用Hadoop 1.2.0和命令distcp從S3'requester pay'下載數據，我有有效的aws id和key，但是，它發生錯誤，如下所示。 org.jets3t.service.S3ServiceException：S3 GET失敗 '/數據集' XML錯誤消息：AccessDenied訪問Denied4FDSDFS454DDWzToSESDFkzv + eiJBmRbqBkW0i

0熱度

1回答

Grails，使用jets3t連接到S3

我想使用「JetS3t」連接到Amazon S3存儲桶，我也使用Quartz插件，我在grails-app/jobs中有一份工作，我喜歡在其中訪問S3 ，但我在socond線得到一個錯誤： AWSCredentials awsCredentials = new AWSCredentials(grailsApplication.config.s3.accessKey, grailsApplicat

0熱度

1回答

計算Amazon S3存儲桶大小

我的要求是計算Amazon s3上的各個存儲桶大小。目前我正在使用JetS3T庫。我正在使用ThreadedStorageService.listObjects（）方法來查找每個單獨對象的大小，然後對其進行總結。即使該方法使用多個線程，但需要很長時間才能列出存儲桶中的所有對象。 80,000個物體45分鐘。有沒有其他方法可以更快速地計算存儲桶大小？