azure-data-lake

    2熱度

    1回答

    我有200多個MSSQL表,並且希望將數據傳輸到Azure Data Lake Storage。 我認爲的一種方法是對動態數據流使用SSIS,即創建表名變量,並對錶名和每個表運行數據流執行foreach循環。然而,這種方法似乎是錯誤的,雖然文件是在Data Lake存儲中創建的,並且正確的方案數據不會由於錯誤的映射而被傳輸。 是否有任何通用的方式來創建一個動態數據流並傳輸大量的表數據?

    1熱度

    1回答

    我在ADF中進行自定義活動,它涉及從Azure存儲Blob中讀取多個文件,對它們進行一些處理,然後將結果文件寫入Azure Data Lake Store。 最後一步是我停下來的地方,因爲據我所見,.NET SDK只允許從本地文件上傳。 有什麼辦法可以(以編程方式)從本地文件上傳文件到ADL Store,它是而不是?可能是一個blob或流。如果沒有,任何解決方法?

    0熱度

    1回答

    我試圖上傳一些文件到ADLS中的特定文件夾。下面是我用來上傳文件的az上傳腳本。 az dls fs upload --account $adls_account --source-path $src_dir --destination-path $dest_dir --thread-count $thread_count --debug 目標文件夾已經存在於ADLS中,並且正在嘗試向其添加更

    1熱度

    3回答

    我有一個調用U-SQL轉換的管道。 使用門戶部署鏈接服務,數據集,管道 鏈接服務JSON for ADLS支持ServicePrincipal,但對於ADLA,如果我聲明servicePrincipalKey,則顯示錯誤。 確實給筆者門戶支持鏈接服務 「AzureDataLakeAnalytics」還是我需要使用VS部署? 有沒有樣品?因爲下面的JSON不起作用 下面的示例顯示錯誤: { "na

    1熱度

    1回答

    我試圖從data lake存儲中提取文件夾名並將其作爲列輸出到csv文件中。有沒有辦法通過USQL提取整個文件夾名稱或部分文件夾名稱?例如/input/Testing - 我需要Testing。 我知道你可以提取文件名,並把它變成像這樣的虛擬列: // Filesets, file set with virtual column @q = EXTRACT rowId int, f

    0熱度

    1回答

    假設我有一個U-SQL視圖。有一個作業正在從視圖中讀取數據。與此同時,另一項工作想要放棄並重新創建視圖。 當第二份工作嘗試在第一份工作使用該視圖時將會發生什麼情況?第二份工作會自動等待嗎?或者它會放棄觀點?對第一份工作會有什麼影響?

    3熱度

    3回答

    我認爲使用數據湖與數據倉庫的關鍵在於將ETL(提取,轉換,加載)過程轉換爲LET(加載,提取,轉換)。不提取這些數據,將其轉換並加載到表格中讓我們回到我們開始的地方?

    1熱度

    1回答

    陣列使用的Avro提取 使用EventHub不能爲空,捕捉到Blob存儲我有基於任何試圖改變該文件的AvroSamples功能不能爲空。 這是我的U型SQL腳本: REFERENCE ASSEMBLY [Newtonsoft.Json]; REFERENCE ASSEMBLY [log4net]; REFERENCE ASSEMBLY [Avro]; REFERENCE ASSEMBLY [

    1熱度

    1回答

    我有我需要處理一些數據的U-SQL腳本。數據存儲在blob中,每天在這個文件夾結構中有大約100個文件:/{year}/{month}/{day}/{hour}/filenames.tsv 獲取一天的數據很容易,只需在最後放置一個通配符,它​​將在所有時間內挑選出所有文件當天。 但是,在我的腳本中,我想讀出當天和前一天的最後2小時。用簡單的方式就是以這種方式與3級摘錄的語句:使用AvroExtra

    1熱度

    1回答

    當列名中有空格時,U-SQL需要方括號([])。但我也看到了這一點U-SQL Tutorial: System.[IO].File.ReadAllText("helloworld.txt") AS Message 我很奇怪,爲什麼需要在這種情況下支架,什麼都當[]在U型SQL有用的案例。