在Amazon S3上一次更新多個文件的擴展名

Question

我的S3存儲桶上有大約100萬個文件，不幸的是這些文件是以錯誤的擴展名上傳的。我需要爲該存儲桶中的每個文件添加一個'.gz'擴展名。

我可以管理做到這一點通過使用AWS CLI： aws s3 mv bucket_name/name_1 bucket_name/name_1.gz

這工作得很好，但在腳本運行很慢，因爲它通過一個移動的文件之一，在我的計算，它會花費長達1周，這是不可接受的。

我想知道我們是否有更好更快的方法來實現這一目標？

Answer 1

您可以嘗試支持多線程調用的S3瀏覽器。 http://s3browser.com/

我懷疑其他工具可以做多線程爲好，但CLI沒有。

Answer 2

S3文件/存儲區沒有重命名功能，因此您需要移動或複製/刪除文件。如果文件很大，確實會有點慢。

但是，沒有什麼能夠阻止您等待請求完成，繼續「重命名」列表中的下一個文件，只是對其進行處理。