Regex y Unicode

Question

Tengo un script que analiza los nombres de archivo de episodios de TV (show.name.s01e02.avi por ejemplo), toma el nombre del episodio (de la API www.thetvdb.com) y automáticamente los renombra en algo más agradable (Mostrar nombre - [01x02] .avi)

La secuencia de comandos funciona bien, eso es hasta que intente y lo use en archivos que tienen nombres de espectáculos Unicode (algo que nunca pensé, ya que todos los archivos que tengo son Inglés, por lo que en su mayoría bastante, todo cae dentro de [a-zA-Z0-9'\-])

¿Cómo puedo permitir que las expresiones regulares coincidan con los caracteres acentuados y los me gusta? Actualmente sección de configuración de la expresión regular se parece ..

config['valid_filename_chars'] = """abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ!@£$%^&*()_+=-[]{}"'.,<>`~? """ 
config['valid_filename_chars_regex'] = re.escape(config['valid_filename_chars']) 

config['name_parse'] = [ 
    # foo_[s01]_[e01] 
    re.compile('''^([%s]+?)[ \._\-]\[[Ss]([0-9]+?)\]_\[[Ee]([0-9]+?)\]?[^\\/]*$'''% (config['valid_filename_chars_regex'])), 
    # foo.1x09* 
    re.compile('''^([%s]+?)[ \._\-]\[?([0-9]+)x([0-9]+)[^\\/]*$''' % (config['valid_filename_chars_regex'])), 
    # foo.s01.e01, foo.s01_e01 
    re.compile('''^([%s]+?)[ \._\-][Ss]([0-9]+)[\.\- ]?[Ee]([0-9]+)[^\\/]*$''' % (config['valid_filename_chars_regex'])), 
    # foo.103* 
    re.compile('''^([%s]+)[ \._\-]([0-9]{1})([0-9]{2})[\._ -][^\\/]*$''' % (config['valid_filename_chars_regex'])), 
    # foo.0103* 
    re.compile('''^([%s]+)[ \._\-]([0-9]{2})([0-9]{2,3})[\._ -][^\\/]*$''' % (config['valid_filename_chars_regex'])), 
] 

Answer 1

uso de un subrango [\ u0000- \ uFFFF] por lo que quieres.

También puede utilizar la bandera re.UNICODE compilación. The docs indica que si se establece UNICODE, \ w coincidirá con los caracteres [0-9_] más lo que se clasifique como alfanumérico en la base de datos de propiedades de caracteres Unicode.

Ver también http://coding.derkeiler.com/Archive/Python/comp.lang.python/2004-05/2560.html.

Answer 2

\ X parece estar disponible como genérico palabra caracteres en algunos idiomas, que le permite igualar una sola Caso omiso carácter de la cantidad de bytes que ocupa. Podría ser útil.

Answer 3

en el dominio de las expresiones regulares de Jeffrey Friedl (gran libro) se menciona que se puede utilizar \ {p} Carta que coincidirá con la materia Unicode que se considera una letra.

Answer 4

módulo de regreso de Python no soporta \ p {Carta} o \ X. Sin embargo, el new regex implementation on PyPI sí lo hace.