desprendimiento caracteres no imprimibles de una cadena en Python

Question

que utilizo para ejecutar

$s =~ s/[^[:print:]]//g; 

en Perl para deshacerse de los caracteres no imprimibles.

En Python no hay clases de expresiones regulares POSIX, y no puedo escribir [: imprimir:] que signifique lo que quiero. No sé de ninguna manera en Python para detectar si un personaje es imprimible o no.

¿Qué harías?

EDITAR: También debe admitir caracteres Unicode. El modo string.printable los eliminará alegremente de la salida. curses.ascii.isprint devolverá falso para cualquier carácter Unicode.

Answer 1

interactuando sobre cadenas es por desgracia bastante lento en Python. Las expresiones regulares son más de un orden de magnitud más rápidas para este tipo de cosas. Solo tienes que construir la clase de personaje tú mismo. El módulo unicodedata es bastante útil para esto, especialmente la función unicodedata.category(). Consulte Unicode Character Database para obtener descripciones de las categorías.

import unicodedata, re 

all_chars = (unichr(i) for i in xrange(0x110000)) 
control_chars = ''.join(c for c in all_chars if unicodedata.category(c) == 'Cc') 
# or equivalently and much more efficiently 
control_chars = ''.join(map(unichr, range(0,32) + range(127,160))) 

control_char_re = re.compile('[%s]' % re.escape(control_chars)) 

def remove_control_chars(s): 
    return control_char_re.sub('', s) 

Answer 2

El mejor que he encontrado hasta ahora es con (gracias a la pitón-izers arriba)

def filter_non_printable(str): 
    return ''.join([c for c in str if ord(c) > 31 or ord(c) == 9]) 

Ésta es la única forma que he encontrado que funciona con caracteres Unicode/Cuerdas

¿Alguna mejor opción?

Answer 3

Por lo que sé, el método más Pythonic/eficiente sería:

import string 

filtered_string = filter(lambda x: x in string.printable, myStr) 

Answer 4

Esta función utiliza listas por comprensión y str.join, lo que se ejecuta en tiempo lineal en lugar de O (n^2) :

from curses.ascii import isprint 

def printable(input): 
    return ''.join(char for char in input if isprint(char)) 

Answer 5

Usted podría intentar la creación de un filtro utilizando la función unicodedata.category():

printable = Set('Lu', 'Ll', ...) 
def filter_non_printable(str): 
    return ''.join(c for c in str if unicodedata.category(c) in printable) 

Véase el Unicode database character properties de las categorías disponibles

Answer 6

En Python 3,

def filter_nonprintable(text): 
    import string 
    # Get the difference of all ASCII characters from the set of printable characters 
    nonprintable = set([chr(i) for i in range(128)]).difference(string.printable) 
    # Use translate to remove all non-printable characters 
    return text.translate({ord(character):None for character in nonprintable}) 

Ver this StackOverflow post on removing punctuation por cómo .translate() se compara con la expresión regular & .replace()

Answer 7

eliminar 'espacio en blanco',

import re 
t = """ 
\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p>&nbsp;</p>\n\t<p> 
""" 
pat = re.compile(r'[\t\n]') 
print(pat.sub("", t)) 

Answer 8

la de abajo realiza más rápido que los demás por encima. Eche un vistazo

''.join([x if x in string.printable else '' for x in Str])