azure-data-factory

2熱度

1回答

我有200多個MSSQL表，並且希望將數據傳輸到Azure Data Lake Storage。我認爲的一種方法是對動態數據流使用SSIS，即創建表名變量，並對錶名和每個表運行數據流執行foreach循環。然而，這種方法似乎是錯誤的，雖然文件是在Data Lake存儲中創建的，並且正確的方案數據不會由於錯誤的映射而被傳輸。是否有任何通用的方式來創建一個動態數據流並傳輸大量的表數據？

1熱度

1回答

USQL，將文件夾名提取到輸出

我試圖從data lake存儲中提取文件夾名並將其作爲列輸出到csv文件中。有沒有辦法通過USQL提取整個文件夾名稱或部分文件夾名稱？例如/input/Testing - 我需要Testing。我知道你可以提取文件名，並把它變成像這樣的虛擬列： // Filesets, file set with virtual column @q = EXTRACT rowId int, f

0熱度

1回答

ADF V2自託管的IR LinkedService狀態

在Azure ADF V1中，gui允許我們看到數據網關處於聯機狀態，並且會告訴我們聯機服務是否無法使用。我還沒有找到能給我提供相同信息的powershell cmdlet。我目前的問題是ADF V2中的管道正在返回「無法連接到SQL Server」錯誤。我在數據網關上的自託管IR中運行診斷程序，並可以連接到服務器。除了運行管道以查看它是否失敗之外，是否有人有腳本或建議來測試linkedSer

-1熱度

3回答

MYSQL更改數據捕獲（CDC） - Azure服務（Azure數據工廠）

我想對MYSQL數據庫的數據表執行ETL操作並將數據存儲在azure數據倉庫中。我沒有更新日期列以標識期間的修改記錄。我如何才能知道哪條記錄被修改。 MYSQL數據庫是否支持CDC？使用Azure服務（Azure數據工廠）可以讀取MYSQL二進制日誌或二進制日誌？

0熱度

3回答

使用Azure數據工廠將數據從Data Lake Store（JSON文件）移動到Azure搜索

我正在嘗試使用Data Factory將Azure數據湖中的json文件移至Azure搜索。但它示出了下面的錯誤，複製活性在源側遇到用戶錯誤：錯誤碼= UserErrorSourceDataContainsMoreColumnsThanDefined，「類型= Microsoft.DataTransfer.Common.Shared.HybridDeliveryException，消息=發現錯

1熱度

3回答

無法訪問ADLS帳戶'（accountname）'

我正在嘗試使用azure數據工廠v2將數據複製到Azure數據存儲池。我創建了數據湖商店，並在article here之後創建了一個AD網絡應用程序，並確保該帳戶可以訪問數據湖商店。不過，我收到以下錯誤，每當我試圖運行一個管道，涉及使用數據湖店作爲一個水槽的單一副本活動：活動複製（副本活動名稱）失敗：無法檢測區的鏈接服務'AzureDataLakeStore'：'LS_DataLakeStore

1熱度

1回答

Set-AzureRmDataFactoryV2無法識別cmdlet的名稱

我正在嘗試使用數據工廠的預覽版本。但是，當我嘗試在PowerShell中使用Set-AzureRmDataFactoryV2命令創建新的數據工廠時。它返回一個錯誤：術語「Set-AzureRmDataFactoryV2」無法識別cmdlet的名稱。誰能幫忙？由於

0熱度

1回答

如何使用Azure Powershell刪除名稱以Azure Data Factory中的特定文本開頭的所有數據集？

Iam試圖只刪除datafactory中的特定數據集，即只有名稱以「DS_SHP」開頭的數據集。 Iam使用Azure PowerShell cmdlet： Get-AzureRmDataFactoryDataset -ResourceGroupName「cdm-apps-rg」-DataFactoryName「cdm-apps-adf」| Remove-AzureRmDataFactoryDat

0熱度

1回答

加密草稿以爲Azure數據工廠結果創建鏈接服務導致錯誤。

我想加密草稿以在Azure數據工廠中創建鏈接服務，但是當我單擊加密按鈕並嘗試點擊指向下載的客戶端時出現錯誤。所以首先我跳過輸入自己的用戶名和密碼，因爲微軟的指南不告訴我，由於某種原因（順便說一句的是一個需要被更新中...）指南：Move data between on-premises sources and the cloud with Data Management Gateway 的第一

0熱度

1回答

無法從ADF執行U-SQL腳本：ScriptPath不應爲空

我們試圖從ADFv2運行U-SQL腳本，但存在阻止執行的錯誤。考慮到關於這個問題的MS文檔沒有什麼幫助，我再次要求SO幫助解決這個問題。最初的問題是如何部署在U-SQL腳本ADLA。我們找不到任何有用的東西，最終只是將腳本複製粘貼到ADLA和Azure Blob存儲上，格式爲.usql和.txt。（這也可能是其中一個問題）。我們根據MS documentation創建的ARM，但它與錯誤而失