獲取S3完整路徑文件

Question

我的桶結構如下：

bucket 
    production 
     dt=2017-01-01 
      file1.json 
     ... 
     dt=2017-05-01 
      file2.json 

什麼我希望做的是得到的完整路徑file1.json，file2.json，所以我可以下載它們。

我努力做到這一點是蟒蛇。任何幫助表示讚賞。 TIA。

Answer 1

s3 = boto3.client('s3') 

你可以通過調用list_objects

objs = s3.list_objects(Bucket='mybucket')['Contents'] 

使用列表理解列出的所有對象，獲得對象名稱忽略文件夾（其中有一個大小爲0）

[obj['Key'] for obj in objs if obj['Size']] 

或者 ：

s3 = boto3.resource('s3') 
bucket = s3.Bucket('mybucket') 
[key.key for key in bucket.objects.all() if key.size] 

如果要列出與特定前綴的對象：

# S3 list all keys with the prefix 'photos/' 
s3 = boto3.resource('s3') 
bucket = s3.Bucket('production') 
    for obj in bucket.objects.filter(Prefix='2017-01-01/'): 
    if obj.size: print obj.key 

Answer 2

當對象的列表是從Amazon S3檢索，他們關鍵的對象始終是它的完整路徑：

import boto3 
s3 = boto3.resource('s3') 
for key in bucket.objects.all(): 
    print key.key 

結果：

production/dt=2017-01-01/file1.json 
production/dt=2017-01-01/file2.json 
production/dt=2017-05-01/file1.json 
production/dt=2017-05-01/file2.json