¿Por qué Python's `re.split()` no se divide en coincidencias de longitud cero?

Question

Una peculiaridad particular de la (por lo demás bastante potente) re módulo en Python es que re.split()will never split a string on a zero-length match, por ejemplo si quiero dividir una cadena a lo largo de los límites de palabra:

>>> re.split(r"\s+|\b", "Split along words, preserve punctuation!") 
['Split', 'along', 'words,', 'preserve', 'punctuation!'] 

en lugar de

['', 'Split', 'along', 'words', ',', 'preserve', 'punctuation', '!'] 

¿Por qué tiene esta limitación? ¿Es por diseño? ¿Se comportan así otros sabores regex?

Answer 1

Es una decisión de diseño que se tomó, y podría haber ido en cualquier dirección. Tim Peters hizo this post de explicar:

Por ejemplo, si se divide "abc" por el patrón x *, ¿qué esperas? El patrón coincide (con longitud 0) en 4 lugares, pero apuesto a la mayoría de la gente se sorprendería de conseguir

[ '', 'a', 'b', 'c', '']

espalda en lugar de (como lo hacen llegar)

[abc]

Algunos otros están en desacuerdo con él sin embargo. Guido van Rossum doesn't want it changed debido a problemas de compatibilidad con versiones anteriores. Lo hizo say:

Sin embargo, estoy de acuerdo con agregar un indicador para permitir este comportamiento.

Editar:

Hay una workaround publicado por Jan Burgy:

>>> s = "Split along words, preserve punctuation!" 
>>> re.sub(r"\s+|\b", '\f', s).split('\f') 
['', 'Split', 'along', 'words', ',', 'preserve', 'punctuation', '!'] 

Dónde '\f' puede ser sustituido por cualquier carácter no utilizado.

Answer 2

Básicamente, split() es dos funciones diferentes en una. Si proporciona un parámetro, se comporta de manera muy diferente a cuando se llama sin uno.

En primer lugar, sería parece que

s.split() == s.split(' \t\n') 

pero esto no es el caso, como lo han demostrado. El doctor dice:

[...] Si no se especifica SEP o es Ninguno, cualquier cadena de espacios en blanco es un separador y cadenas vacías se eliminan del resultado. [...]

Incluso al agregar un parámetro 'remove_empty' aún se comportaría raro, porque el valor predeterminado 'eliminar_empty' depende de que el parámetro 'sep' esté allí.

Answer 3

Para solucionar este problema, puede utilizar el modo de la regex package que hace VERSION1split()producen de longitud cero coincide así:

>>> import regex as re 
>>> re.split(r"\s+|\b", "Split along words, preserve punctuation!", flags=re.V1) 
['', 'Split', 'along', 'words', ',', 'preserve', 'punctuation', '!']