在U-SQL中追加現有文件中的數據

我們可以在U-SQL中的現有文件中追加數據嗎？我在U-SQL中創建了一個CSV文件作爲輸出。我正在編寫另一個U-SQL查詢，並且希望將該查詢的輸出追加到現有文件中。這可能嗎？在U-SQL中追加現有文件中的數據

2016-12-02 Jai

它不被支持，並且會違背健壯，分佈式，冪等大數據系統的設計（儘管可以通過將以前的輸出作爲行集讀取並執行UNION ALL來實現該行爲）。

對付它的最好方法是正確使用的分區，例如，爲每一個資料執行的一個或多個新的分區：https://msdn.microsoft.com/en-us/library/azure/mt621324.aspx

2016-12-02 13:30:47

我想文件集，而不是分區，但類似的概念。即file1_20161202.csv，file1_20161203.csv等U-SQL可以將它們視爲具有文件集特徵的文件集，例如'@q = EXTRACT rowId int，日期字符串FROM「/input/file1_{date}.txt」使用Extractors.Tsv （）;'。 – wBob

@wBob好主意。要生成這樣的文件（在由Data Factory觸發的運行中），您可以傳遞[Dynamic parameters]（https://docs.microsoft.com/zh-cn/azure/data-factory/data-factory-usql-activity#動態參數）。 –

在U-SQL中追加現有文件中的數據

回答

相關問題