匹配Unicode屬性的Python正則表達式

Question

Perl和其他一些當前正則表達式引擎在正則表達式中支持Unicode屬性，例如類別。例如。在Perl中，您可以使用\p{Ll}來匹配任意小寫字母，或p{Zs}以用於任何空格分隔符。我在Python的2.x和3.x行中都沒有看到對此的支持（帶有遺憾）。是否有人知道獲得類似效果的好策略？歡迎使用本土解決方案。

Answer 1

您是否試過Ponyguruma，一個Python與Oniguruma正則表達式引擎綁定？在該引擎中，您可以簡單地說\p{Armenian}以匹配亞美尼亞字符。 \p{Ll}或\p{Zs}也可以。

Answer 2

你說得對，Python屬性類不被Python正則表達式解析器支持。

如果你想做一個很好的黑客，這通常是有用的，你可以創建一個預處理器，掃描一個字符串這樣的類令牌（\p{M}或其他），並用相應的字符集替換它們，這樣例如，\p{M}將變爲[\u0300–\u036F\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F]，並且\P{M}將變爲[^\u0300–\u036F\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F]。

人們會感謝你。 :)

Answer 3

請注意，雖然\p{Ll}在Python正則表達式中沒有等效，但\p{Zs}應覆蓋'(?u)\s'。 (?u)，正如文檔所說：「使\ w，\ w，\ b，\ B，\ d，\ D，\ s和\ S依賴於Unicode字符屬性數據庫。」和\s表示任何間距字符。

Answer 4

可以精心上每個字符使用unicodedata：

import unicodedata 

def strip_accents(x): 
    return u''.join(c for c in unicodedata.normalize('NFD', x) if unicodedata.category(c) != 'Mn') 

Answer 5

的regex模塊（到標準re模塊的替代）支持帶有\p{}語法的Unicode編碼點的屬性。

Answer 6

說到自制的解決方案的，前一段時間我寫了一個小program能夠做到這一點 - 轉換寫成\p{...}到值的範圍爲Unicode類別，該Unicode specification（v.5.0.0）提取。僅支持類別（例如：L，Zs），並且僅限於BMP。我在這裏發佈它，以防有人發現它有用（儘管Oniguruma真的看起來更好一些）。

用法示例：

>>> from unicode_hack import regex 
>>> pattern = regex(r'^\\p{Lu}(\\p{L}|\\p{N}|_)*') 
>>> print pattern.match(u'疂_1+2').group(0) 
疂_1 
>>> 

這裏的source。還有一個JavaScript version，使用相同的數據。