Python y la expresión regular con Unicode

Question

tengo que borrar algunos caracteres Unicode de la cadena 'بسم الله الرحمن الرحيم'

sé que existen aquí seguro. Intenté:

re.sub('([\u064B-\u0652\u06D4\u0670\u0674\u06D5-\u06ED]+)', '', 'بِسْمِ اللَّهِ الرَّحْمَٰنِ الرَّحِيمِ') 

pero no funciona. La cadena permanece igual. ¿Qué estoy haciendo mal?

Answer 1

¿Está utilizando python 2.xo 3.0?

Si está utilizando 2.x, trate de hacer la cadena de expresión regular una cadena Unicode de escape, la 'U'. Como es regex, es una buena práctica hacer que su cadena de expresiones regulares sea una cadena sin formato, con 'r'. Además, poner su patrón completo entre paréntesis es superfluo.

re.sub(ur'[\u064B-\u0652\u06D4\u0670\u0674\u06D5-\u06ED]+', '', ...) 

http://docs.python.org/tutorial/introduction.html#unicode-strings

Editar:

También es una buena práctica usar la bandera re.UNICODE/re.U/expresiones regulares para Unicode, pero sólo afecta a los alias de clase de caracteres como (u?) \ w o \ b, de los cuales este patrón no usa ninguno y por lo tanto no se vería afectado por.

Answer 2

Uso unicode cuerdas. Use la bandera re.UNICODE.

>>> myre = re.compile(ur'[\u064B-\u0652\u06D4\u0670\u0674\u06D5-\u06ED]+', 
         re.UNICODE) 
>>> myre 
<_sre.SRE_Pattern object at 0xb20b378> 
>>> mystr = u'بِسْمِ اللَّهِ الرَّحْمَٰنِ الرَّحِيمِ' 
>>> result = myre.sub('', mystr) 
>>> len(mystr), len(result) 
(38, 22) 
>>> print result 
بسم الله الرحمن الرحيم 

Leer el artículo de Joel Spolsky llamada The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)