我需要每小時從s3服務器下載100個最新文件。s3- boto-通過上傳時間在一個存儲桶中列出文件
bucketList = bucket.list(PREFIX)
上面的代碼創建了文件列表,但它不依賴於文件的上傳時間,因爲它按文件名列出?
我對文件名無能爲力。它是隨機給出的。
謝謝。
我需要每小時從s3服務器下載100個最新文件。s3- boto-通過上傳時間在一個存儲桶中列出文件
bucketList = bucket.list(PREFIX)
上面的代碼創建了文件列表,但它不依賴於文件的上傳時間,因爲它按文件名列出?
我對文件名無能爲力。它是隨機給出的。
謝謝。
列表有多大?你可以在「LAST_MODIFIED」 ATTR重點
orderedList = sorted(bucketList, key=lambda k: k.last_modified)
keysYouWant = orderedList[0:100]
如果您的名單是巨大的,這可能不是有效的列表進行排序。查看boto.s3.bucket.Bucket中list()函數的內聯文檔。
我對List Objects操作文檔的閱讀表明,對象總是按字母順序(按對象鍵)列出。
如果您將每個對象的創建時間編碼到對象鍵中,您可能可以實現您想要的功能。