2017-02-16 125 views
1

我期待在微軟文檔上moving data to and from an Azure Data Lake Store和發現下列有關fileName屬性:通配符在數據工廠Azure的數據存儲湖輸入

在Azure的數據湖店的文件的名稱。 fileName是可選的並且區分大小寫。如果你指定一個文件名,活動(包括複製)對特定文件起作用。「

我在這裏沒有看到任何提及的通配符,例如,我不知道如何使用一個文件夾,但只有符合2017-foo-*.json中的文件?我試過星號,但它似乎是從字面上理解。

回答

1

根據您的源和匯上,你也許能夠使用fileFilter屬性,而不是文件名的使用通配符,如引自here

允許的值是:*(多個字符)和? (單個字符)。

實施例1: 「的FileFilter」: 「* .LOG」

實施例2: 「的FileFilter」: 2014-1 - ?. TXT」

注意的FileFilter適用於輸入文件共享數據集。

這個例子是一個的預置型文件共享:

{ 
    "name": "InputDataset-AllFiles", 
    "properties": { 
     "published": false, 
     "type": "FileShare", 
     "linkedServiceName": "OnPremisesFileServerLinkedService", 
     "typeProperties": { 
      "fileFilter": "*.txt", 
      "folderPath": "." 
     }, 
     "availability": { 
      "frequency": "Day", 
      "interval": 1 
     }, 
     "external": true, 
     "policy": {} 
    } 
} 

我不知道這個prope rty可用於其他類型,如blob存儲,數據湖等你可以確認你的源和匯(假設其中之一是數據湖)?

更多信息可在這裏:

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-onprem-file-system-connector

Polybase now supports ADLS,所以你可以沒有這些ADF詭計以這種方式移動數據。

+1

來源是Data Lake Store。接收器是數據倉庫。 – catfood

+0

Polybase現在支持ADLS,因此您可以以這種方式移動數據,而無需使用這些ADF shenanigans。 – wBob