Redshift - 複製多個清單文件

Question

我正在使用AWS Redshift通過COPY命令加載多個S3文件。我通過清單來做這件事。我們可能有多個清單文件需要在任何時間點加載到Redshift中。將多個清單文件加載到Redshift中的最佳方式是什麼？

是否可以執行復制命令傳遞清單文件的列表/數組像下面？

copy schema.table_name 
from 's3://my-bucket/manifest1.manifest', 's3://my-bucket/manifest2.manifest', 's3://my-bucket/manifest3.manifest' 
credentials 'aws_access_key_id=XXXX;aws_secret_access_key=YYYY' 
manifest gzip format as json 'auto'; 

還是可以從不同的應用程序執行多個複製命令，而不會影響Redshift的整體性能太多？我並行執行多個副本命令的問題在於，它在執行副本時會引入資源爭用。

Answer 1

我最終做的是將多個清單文件的內容加入超級清單。因此，我不是爲500個清單文件執行500個單獨的COPY命令，而是將500個清單的內容連接成一個超級清單，然後執行Redshift COPY。

性能改善顯着。 Redshift單個清單COPY約需3分鐘。連接500到1超級艙單需要45-90分鐘。

Answer 2

您可以運行多個複製命令，當然這會影響性能。你只需要做一些測試來衡量你可以接受的放緩水平。

如果要限制可同時運行的副本數量，可以創建一個新用戶並按照Tutorial: Configuring Workload Management (WLM) Queues to Improve Query Processing。假設您將併發性設置爲1，那麼您可以啓動多個命令，並且只有其中一個將運行。

Answer 3

對於大量數據運行一個大COPY的問題是，Redshift會在磁盤上分配預期表的最大大小，這可能會導致DISK FULL異常，如果要拆分COPY命令轉換爲多個COPY（*將會一個接一個地運行，NOT）。 爲了最大化並行性，記住Redshift羣集中的核心數量也很重要。