2017-06-06 85 views
1

我們已經有Move-AzureRmDataLakeStoreItem這將在Azure Datalake內的文件夾之間移動文件。我正在尋找的是在datalake中複製文件而不影響原始文件。我們如何在Azure Data Lake Store文件夾內複製任何文件

,我知道利用的資源文件USQLEXTRACT數據,然後OUTPUT到destinationfile

  1. 爲─可能性 - 但我試圖複製的所有排序文件(。廣州,txt文件,.INFO ,名爲.exe,.msi)的,我不知道如果USQL可以幫我用Data Factory複製數據。廣州或.exe或的.msi文件
  2. 自/至Data Lake store

因此,我的問題是,我們是否還有其他任何可以使用的方法來在Azure Data Lake Store中執行文件副本?

+0

另一種需要考慮的方法是,可能不要複製您的文件太多?您可以將您的數據存入您的「原始」或暫存區域中,然後該文件的任何其他版本應該以某種方式改進,聚合,清理,增強或處理,而不是直接重複。 – wBob

回答

3

您有其他幾個選項,一個HDI集羣上

  1. 運行DistCp使用 - 在這裏提供的說明類似。 https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-wasb-distcp
  2. 使用adlcopy如果您要複製的數據量有限(10-100說的GB的) - https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-azure-storage-blob

這是否就足夠了嗎?或者您想通過其REST API獲得Azure Data Lake Store本機支持的某些內容嗎?

謝謝, Sachin Sheth Azure Data Lake項目經理。

+0

謝謝@Sachin - 讓我通讀文章並探索可能性。如果我需要更多關於這方面的信息,我可能會回覆你,如果你沒有問題的話:) – Abhishek

相關問題