從vps web服務器將1TB文件夾和文件傳輸到AWS S3

Question

我需要將我們所有的文件（包含文件夾結構）傳輸到AWS S3。我已經研究了很多關於這是如何完成的。

大部分提到的地方是s3fs。但看起來這是有點老。我曾嘗試將s3fs安裝到我現有的CentOS 6 Web服務器上。但它卡在$ make命令。 （是的，有Makefile.in）

和as per this answer AWS S3 Transfer Acceleration是下一個更好的選擇。但是，我仍然需要編寫一個PHP腳本（我的應用程序是PHP）來將所有文件夾和文件傳輸到S3。它與S3中的文件保存方式（API putObject）相同，但速度更快。如果我錯了，請糾正我。

有沒有其他更好的解決方案（我更喜歡FTP）將1TB文件與CentOS 6服務器上的文件夾傳輸到AWS S3？有什麼方法可以在EC2中使用FTP客戶端將CentOS 6以外的文件傳輸到AWS S3？

Answer 1

使用AWS Command-Line Interface (CLI)的aws s3 sync命令。

這將保留您的目錄結構，並可以在斷開連接的情況下重新啓動。每個執行只會複製新的，更改或丟失的文件。

請注意，1TB是大量數據，可以複製significant time。

另一種方法是使用AWS Snowball，這是AWS可以向您發送的設備。它可以容納50TB或80TB的數據。只需將您的數據複製到設備，然後將其發回AWS，他們就會將數據複製到Amazon S3。