amazon-s3

1熱度

1回答

我想從pyspark代碼訪問存儲在S3存儲區中的文件。它給我附加的錯誤信息。使用本地存儲的文件時，該程序正常工作。我嘗試過使用s3：//，s3a：//和s3n：//但是它們都不起作用。代碼： ACCESS_KEY = "*********" SECRET_KEY = "**********" EncodedSecretKey = SECRET_KEY.replace("/", "%2F"

0熱度

1回答

在C＃應用程序中設置AWS S3憑證

我想開發一個簡單的應用程序，它可以從命令行獲取AWS密鑰並訪問AWS S3服務。 .Net上的所有C＃示例和AWS文檔都使用SDK存儲，憑證文件或環境變量。有沒有一種方法可以創建AmazonS3Client併爲其指定密鑰而無需創建外部文件或設置環境變量？這是C＃.net核心2.0。最終，這個應用程序將在Linux和Windows上運行，所以平臺無關的方法會更可取。

0熱度

1回答

Amazon批處理 - 來自s3的輸入文件

我是AWS新手。我正在嘗試使用批處理來分析一堆文件。如果我有一個Docker鏡像來安裝我的分析程序，那麼在批處理作業中使用I/O的建議方式是什麼？有沒有辦法使用通用程序訪問S3文件？ /bin/cd-hit -i <s3bucket/input> -o <s3bucket/output.txt> 或者做人流在作業定義使用Amazon的彈性文件系統掛載爲卷，然後訪問文件呀？

0熱度

1回答

使用跨賬戶和IAC設置的AWS訪問資源

我有以下情形：我們正在AWS上構建基礎架構，並在多個賬戶中使用基礎設施代碼（IAC）。我有帳戶A和帳戶 B在開始，我想創建使用CloudFormation和Terraform的基礎設施。當創建帳戶A時，我想允許帳戶B中的角色有權訪問在帳戶A中創建的S3存儲桶。帳戶B中的角色尚未創建，但是，我知道，名稱是什麼最終會成爲。我的問題：如果我知道他們最終將如何命名，我可以授予對兩個帳戶之間不存在的資

0熱度

2回答

Ceph的S3存儲空間沒有釋放

我一直與S3測試Ceph的我的測試ENV是10GB的datadisk每個所以30GB 其設置爲重複3次3node。所以我有「15290 MB」空間可用。我拿到了S3存儲工作，並已經上傳的文件，並填補了存儲，試圖刪除上述文件，但在磁盤仍顯示爲滿 cluster 4ab8d087-1802-4c10-8c8c-23339cbeded8 health HEALTH_ERR 3 full

-1熱度

1回答

從BeanStalk中刪除war文件後，爲什麼應用程序在AWS ElasticBeanStalk中工作？

從BeanStalk中刪除war文件後，應用程序仍然可以在AWS ElasticBeanStalk中運行。我試過從AWS S3刪除war文件，它仍然有效。當我們從Elastic BeanStalk的「應用程序版本」中刪除版本時，tomcat是否不會將undeploys war文件取消部署？

1熱度

1回答

Carrierwave文件名方法創建問題當上傳文件到s3

我有一個ImageUploader，我想上傳一個圖像到S3。另外，我想用filename方法更改文件名。下面是代碼： class ImageUploader < CarrierWave::Uploader::Base storage :fog def store_dir "images" end def filename "#{m

1熱度

1回答

帶有IAM策略的AWS S3的Gradle單JAR依賴關係

我有一個gradle構建文件，它需要某個jar文件作爲依賴項。該jar文件位於AWS存儲區中的S3存儲桶中。在Jenkins上執行gradle構建文件，並且Jenkins盒已經有一個IAM策略，允許它從S3上傳和下載（我不控制策略，因此我無法提供關於該策略的更多信息）。在我gradle這個build文件我指定的S3存儲作爲像這樣的倉庫： maven { url "s3://myBu

-2熱度

1回答

AWS S3在免費級別之外的費用

我是AWS新手，有這個基本問題。存儲在S3存儲桶中的數據，除了存儲成本外還會產生PUT/GET成本嗎？示例方案：（外自由層）我存儲大小1GB的對象1天，將我被收取除了這些對象的PUT請求成本1GB的存儲成本。感謝您提前給出答案。

0熱度

1回答

使用火花結構化流式讀取s3中的avro文件

我想使用spark結構化流式api讀取s3中的avro文件。你可以找到有關使用kafka的信息，但是我找不到s3的任何信息。這裏的問題是我不知道要設置什麼格式。這裏是我的簡單代碼： Dataset<Row> baseDataSet = sparkSession .readStream() .format("?") //What this format sho