Azure的數據倉庫多鹼文件格式

Question

我們有一個看起來像這樣的文件：

Col1,Col2,Col3,Col4,Col5 
"Hello,",I,",am",some,data! 

因此它具有以下「屬性」：

• 逗號分隔
• 雙引號列分隔符
• 某些列中的逗號

現在，我不確定實際上是否可以用PolyBase攝取這些信息，但是想知道是否有辦法？

我們目前看到的錯誤是「Could not find a delimiter after quote」 ..我的猜測是因爲雙引號被擊中的是一個預期的分隔符。經過

這是我們當前的文件格式，完整性：

CREATE EXTERNAL FILE FORMAT Comma 
WITH (FORMAT_TYPE = DELIMITEDTEXT, 
     FORMAT_OPTIONS(
      FIELD_TERMINATOR = ',', 
      STRING_DELIMITER = '"', 
    ) 
) 

Answer 1

..

這是一個有點笨重（因爲它留下的背後副本一團糟），但多鹼則確實與FILEFORMAT工作：

CREATE EXTERNAL FILE FORMAT Orc 
WITH (FORMAT_TYPE = ORC) 

作品現在，直到由產品團隊解決：https://feedback.azure.com/forums/307516-sql-data-warehouse/suggestions/10600132-polybase-allow-field-row-terminators-within-strin

Answer 2

用十六進制指定它。

STRING_DELIMITER = '0x22' 

（基於有人在的https://msdn.microsoft.com/en-au/library/dn935026.aspx末尾描述的問題）加入一箇中間步驟以從CSV到ORC格式文件轉換到底排序這一點