Unicode正則表達式;無效的XML字符

的有效XML字符名單是衆所周知的，由它的規範定義：Unicode正則表達式;無效的XML字符

#x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]

我的問題是，是否有可能作出這樣的PCRE正則表達式（或其倒數）而無需使用Unicode常規類別實際對代碼點進行硬編碼。反例可能類似於[\ p {Cc} \ p {Cs} \ p {Cn}]，但不正確地覆蓋了換行符和製表符以及其他一些無效字符。

來源

2008-12-29 Edward Z. Yang

對於內部存儲的代碼點UTF-16系統中，通常使用代理對（xD800-xDFFF）以上0xFFFF的，並在這些系統的代碼點，您必須驗證，如果你真的可以使用例如\ U12345或必須指定作爲代理對。（我剛剛發現，在C＃中，您可以使用\u1234 (16 bit) and \U000(32-bit)）

根據Microsoft「W3C建議不允許在元素或屬性名稱內使用替代字符。」在搜索W3s網站時，我發現可能感興趣的C079和C078。

來源

2008-12-29 07:32:07 some

雖然這是一個有用的實現技巧，但它並沒有真正回答我的問題。讓我們假設參數爲實現對非BMP字符的一流支持，所以根本不需要代理字符。 – 2008-12-31 21:04:13

我知道這是不完全的回答你的問題，但它有助於在這裏有它：

正則表達式匹配有效的XML字符：

[\u0009\u000a\u000d\u0020-\uD7FF\uE000-\uFFFD]

所以要去除無效來自XML的字符，你會做類似

// filters control characters but allows only properly-formed surrogate sequences 
private static Regex _invalidXMLChars = new Regex(
    @"(?<![\uD800-\uDBFF])[\uDC00-\uDFFF]|[\uD800-\uDBFF](?![\uDC00-\uDFFF])|[\x00-\x08\x0B\x0C\x0E-\x1F\x7F-\x9F\uFEFF\uFFFE\uFFFF]", 
    RegexOptions.Compiled); 

/// <summary> 
/// removes any unusual unicode characters that can't be encoded into XML 
/// </summary> 
public static string RemoveInvalidXMLChars(string text) 
{ 
    if (string.IsNullOrEmpty(text)) return ""; 
    return _invalidXMLChars.Replace(text, ""); 
}

我有我們的常駐正則表達式/ XML天才，he of the 4,400+ upvoted post，檢查這一點，然後他簽署了它。

來源

2009-06-07 08:30:38

而不是text.IsNullOrEmpty（）我認爲你需要string.IsNullOrEmpty（文本） – 2013-05-06 05:12:28

你是傑夫阿特伍德，你真的不需要任何居民簽署你的東西在這裏。 – jbnunn 2013-07-16 16:33:22

我在Java中嘗試這樣做，它的工作原理：

private String filterContent(String content) { 
    return content.replaceAll("[^\\u0009\\u000a\\u000d\\u0020-\\uD7FF\\uE000-\\uFFFD]", ""); 
}

謝謝傑夫。

來源

2012-02-19 16:57:22

如果十六進制代碼存在於xml中，上述解決方案對我無效。例如

<element></element>

下面的代碼將打破：

string xmlFormat = "<element>{0}</element>"; 
string invalid = " &#x8;"; 
string xml = string.Format(xmlFormat, invalid); 
xml = Regex.Replace(xml, @"[\x01-\x08\x0B\x0C\x0E\x0F\u0000-\u0008\u000B\u000C\u000E-\u001F]", ""); 
XDocument.Parse(xml);

它返回：

XmlException： ''，十六進制值0x08時，是無效字符。 1號線，位置14。

以下是改進正則表達式和上面固定提到的問題：

& #x中（[0-8BCEFbcef] | 1 [0-9A-發F]）; | [\ x01- \ X08 \ X0B \ X0C \ x0E \ X0F \ u0000- \ u0008 \ u000B \ u000C \ u000E- \ u001F]

下面是第一300個Unicode字符單元測試並且僅驗證無效字符被刪除：

[Fact] 
     public void validate_that_RemoveInvalidData_only_remove_all_invalid_data() 
     { 
      string xmlFormat = "<element>{0}</element>"; 
      string[] allAscii = (Enumerable.Range('\x1', 300).Select(x => ((char)x).ToString()).ToArray()); 
      string[] allAsciiInHexCode = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("X") + ";").ToArray()); 
      string[] allAsciiInHexCodeLoweCase = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("x") + ";").ToArray()); 

      bool hasParserError = false; 
      IXmlSanitizer sanitizer = new XmlSanitizer(); 

      foreach (var test in allAscii.Concat(allAsciiInHexCode).Concat(allAsciiInHexCodeLoweCase)) 
      { 
       bool shouldBeRemoved = false; 
       string xml = string.Format(xmlFormat, test); 
       try 
       { 
        XDocument.Parse(xml); 
        shouldBeRemoved = false; 
       } 
       catch (Exception e) 
       { 
        if (test != "<" && test != "&") //these char are taken care of automatically by my convertor so don't need to test. You might need to add these. 
        { 
         shouldBeRemoved = true; 
        } 
       } 
       int xmlCurrentLength = xml.Length; 
       int xmlLengthAfterSanitize = Regex.Replace(xml, @"&#x([0-8BCEF]|1[0-9A-F]);|[\u0000-\u0008\u000B\u000C\u000E-\u001F]", "").Length; 
       if ((shouldBeRemoved && xmlCurrentLength == xmlLengthAfterSanitize) //it wasn't properly Removed 
        ||(!shouldBeRemoved && xmlCurrentLength != xmlLengthAfterSanitize)) //it was removed but shouldn't have been 
       { 
        hasParserError = true; 
        Console.WriteLine(test + xml); 
       } 
      } 
      Assert.Equal(false, hasParserError); 
     }

來源

2017-05-14 07:45:57 Rafi

另一種方法，以消除在C＃中不正確的XML字符使用XmlConvert.IsXmlChar Method（可用自.NET框架4.0）

public static string RemoveInvalidXmlChars(string content) 
{ 
    return new string(content.Where(ch => System.Xml.XmlConvert.IsXmlChar(ch)).ToArray()); 
}

，或者您可以檢查所有的字符是XML-有效。

public static bool CheckValidXmlChars(string content) 
{ 
    return content.All(ch => System.Xml.XmlConvert.IsXmlChar(ch)); 
}

淨小提琴 - https://dotnetfiddle.net/v1TNus

例如，垂直製表符符號（\ V）不是有效的XML，它是有效的UTF-8，但不是有效的XML 1.0，甚至許多庫（包括libxml2）會錯過它並靜默輸出無效的XML。

來源

2018-02-20 19:59:00

Unicode正則表達式;無效的XML字符

回答

相關問題