將dd dd標準輸出從ec2輸入到s3

試圖節省EBS快照的資金，因此我們的想法是手動複製文件系統（使用dd）並在S3中手動存儲以生命週期爲IA和Glacier。將dd dd標準輸出從ec2輸入到s3

處理小型文件（1GB測試）以下的作品，但在較大（〜800GB），之後圍繞40GB，一切都慢如蝸牛和永遠無法完成

sudo dd if=/dev/sdb bs=64M status=progress | aws s3 cp - s3://my-bucket/sdb_backup.img --sse AES256 --storage-class STANDARD_IA

從M4運行此。 4xlarge實例（16 VCPU，64GB RAM）

不完全知道爲什麼它爬停頓下來，或者這是否是解決這個問題的最好辦法（手動存儲在S3上不常訪問的存儲類的文件系統）

有什麼想法嗎？

謝謝！

來源

2017-08-11 tkwargs

您是否驗證過它不會在某個地方創建一個大的臨時文件？ aws進程的CPU使用情況如何？根據我的經驗，大型上傳不能通過aws-cli很好地處理。幾年前，我寫了自己的實用程序來做這件事，儘管我不再進行流式上傳，因爲'sc1' EBS卷和臨時磁盤爲分段大量上傳提供了經濟高效的臨時空間。 –

你有沒有看過你的AWS賬單，收取快照存儲的費用......並比較了他們對你所有快照的總大小計費的數額？你可能正在追逐虛構的儲蓄。在一個地區，我擁有將近92,000 GB的快照（92 TB），但EBS僅支持10,300 GB（10.3 TB）的快照。由EBS shapshots提供的重複數據刪除和壓縮功能意味着我有效地支付了$ 0.0056/GB ......僅爲標價的1/10。在另一個地區，這個比例並不高，所以大約是0.0126美元/ GB。除非你自己也在扣除和壓縮，否則你並沒有更好。 –

請仔細檢查@ Michael-sqlbot。謝謝！ – tkwargs

這不是一個好主意，因爲快照是漸進式的，所以你會花更多的時間從接下來的幾個手工快照開始。

如果您仍然需要這種方式，那麼請考慮多部分上傳（塊大小可達5GB）。

來源

2017-08-11 20:58:45 Putnik

如果您希望將文件複製到Amazon S3，最簡單的方法是使用AWS Command-Line Interface (CLI)：

aws s3 sync dir s3://my-bucket/dir

作爲替代標準，不經常訪問，您可以在創建生命週期策略 S3存儲桶將文件移至Glacier。（這對於長期存儲是值得的，但由於請求費用較高而不適用於短期。）

來源

2017-08-11 22:41:07

您可以使用類似goofys的東西將輸出重定向到S3。我親自測試了高達1TB的文件。

來源

2017-08-15 22:13:04 khc

將dd dd標準輸出從ec2輸入到s3

回答

相關問題