¿Cómo puedo reemplazar caracteres Unicode no imprimibles en Java?

Question

El siguiente reemplazará los caracteres de control ASCII (abreviatura de [\x00-\x1F\x7F]):

my_string.replaceAll("\\p{Cntrl}", "?"); 

El siguiente reemplazará todos los caracteres ASCII no imprimible (la abreviatura de [\p{Graph}\x20]), incluyendo los caracteres acentuados:

my_string.replaceAll("[^\\p{Print}]", "?"); 

Sin embargo , ninguno funciona para cadenas Unicode. ¿Alguien tiene una buena manera de eliminar los caracteres no imprimibles de una cadena Unicode?

Answer 1

my_string.replaceAll("\\p{C}", "?"); 

Ver más sobre Unicode regex. java.util.regexPattern/String.replaceAll los admite.

Answer 2

Usted puede estar interesado en el Unicode categories"Other, Control" y posiblemente "Other, Format" (por desgracia, este último parece contener caracteres no imprimibles tanto e imprimibles).

En las expresiones regulares de Java puede verificarlas usando \p{Cc} y \p{Cf} respectivamente.

Answer 3

Op De Cirkel es en su mayoría correcta. Su sugerencia funcionará en la mayoría de los casos:

myString.replaceAll("\\p{C}", "?"); 

Pero si myString puede contener puntos de código no-BMP entonces es más complicado. \p{C} contiene los puntos de código de sustitución de \p{Cs}. El método de reemplazo anterior corromperá los puntos de código que no sean BMP al reemplazar en ocasiones solo la mitad del par suplente. Es posible que esto sea un error de Java en lugar de un comportamiento previsto.

Uso de las otras categorías constituyente es una opción:

myString.replaceAll("[\\p{Cc}\\p{Cf}\\p{Co}\\p{Cn}]", "?"); 

Sin embargo, no se eliminarán caracteres suplentes solitarias no parte de un par (cada carácter sustituto tiene un punto de código asignado). Un enfoque no-expresión regular es la única forma que conozco para manejar adecuadamente \p{C}:

StringBuilder newString = new StringBuilder(myString.length()); 
for (int offset = 0; offset < myString.length();) 
{ 
    int codePoint = myString.codePointAt(offset); 
    offset += Character.charCount(codePoint); 

    // Replace invisible control characters and unused code points 
    switch (Character.getType(codePoint)) 
    { 
     case Character.CONTROL:  // \p{Cc} 
     case Character.FORMAT:  // \p{Cf} 
     case Character.PRIVATE_USE: // \p{Co} 
     case Character.SURROGATE: // \p{Cs} 
     case Character.UNASSIGNED: // \p{Cn} 
      newString.append('?'); 
      break; 
     default: 
      newString.append(Character.toChars(codePoint)); 
      break; 
    } 
} 

Answer 4

he rediseñado el código de números de teléfono +9 (987) 124124 Extract digits from a string in Java

public static String stripNonDigitsV2(CharSequence input) { 
    if (input == null) 
     return null; 
    if (input.length() == 0) 
     return ""; 

    char[] result = new char[input.length()]; 
    int cursor = 0; 
    CharBuffer buffer = CharBuffer.wrap(input); 
    int i=0; 
    while (i< buffer.length() ) { //buffer.hasRemaining() 
     char chr = buffer.get(i); 
     if (chr=='u'){ 
      i=i+5; 
      chr=buffer.get(i); 
     } 

     if (chr > 39 && chr < 58) 
      result[cursor++] = chr; 
     i=i+1; 
    } 

    return new String(result, 0, cursor); 
}