Lectura UTF-8 - marcador BOM

Question

Estoy leyendo un archivo a través de un FileReader - el archivo está decodificado UTF-8 (con BOM) ahora mi problema es: leí el archivo y saqué una cadena, pero lamentablemente el marcador BOM se saca también ¿Por qué ocurre esto?

fr = new FileReader(file); 
br = new BufferedReader(fr); 
    String tmp = null; 
    while ((tmp = br.readLine()) != null) { 
    String text;  
    text = new String(tmp.getBytes(), "UTF-8"); 
    content += text + System.getProperty("line.separator"); 
} 

de salida después de la primera línea de

?<style> 

Answer 1

En Java, debe consumir manualmente la BOM UTF8 si está presente. Este comportamiento está documentado en la base de datos de errores de Java, here y here. No habrá una solución por ahora porque romperá las herramientas existentes como los analizadores JavaDoc o XML. El Apache IO Commons proporciona un BOMInputStream para manejar esta situación.

Tome un vistazo a esta solución: Handle UTF8 file with BOM

Answer 2

No está seguro de lo que se cree que está logrando con tmp.getBytes() y "UTF-8", etc.

estoy bastante Seguro que Java no admite listas de materiales, aunque no puedo encontrar la documentación que dice eso ahora.

También vale la pena señalar que BOMs in UTF-8 are meaningless, ya que la norma especifica el orden de bytes independientemente del hardware. Entonces, si puedes evitar que se generen en primer lugar, eso podría ayudar.

Answer 3

La solución más sencilla es probablemente sólo para eliminar el \uFEFF resultante de la cadena, ya que es muy poco probable que aparezca por cualquier otra razón.

tmp = tmp.replace("\uFEFF", ""); 

Véase también this Guava bug report

Answer 4

Uso del Apache Commons library.

Clase: El uso de org.apache.commons.io.input.BOMInputStream

Ejemplo:

String defaultEncoding = "UTF-8"; 
InputStream inputStream = new FileInputStream(someFileWithPossibleUtf8Bom); 
try { 
    BOMInputStream bOMInputStream = new BOMInputStream(inputStream); 
    ByteOrderMark bom = bOMInputStream.getBOM(); 
    String charsetName = bom == null ? defaultEncoding : bom.getCharsetName(); 
    InputStreamReader reader = new InputStreamReader(new BufferedInputStream(bOMInputStream), charsetName); 
    //use reader 
} finally { 
    inputStream.close(); 
} 

Answer 5

Así es como yo uso el BOMInputStream Apache, utiliza un bloque try-con-recursos. El argumento de la "falsa" dice al objeto de ignorar las siguientes listas de materiales (usamos archivos de texto "BOM-menos" por razones de seguridad, jaja):

try(BufferedReader br = new BufferedReader( 
    new InputStreamReader(new BOMInputStream(new FileInputStream(
     file), false, ByteOrderMark.UTF_8, 
     ByteOrderMark.UTF_16BE, ByteOrderMark.UTF_16LE, 
     ByteOrderMark.UTF_32BE, ByteOrderMark.UTF_32LE)))) 
{ 
    // use br here 

} catch(Exception e) 

} 

Answer 6

Entonces se me ocurrió con este lector subclase

/* 
* Copyright (C) 2016 donizyo 
* 
*/ 
package net.donizyo.io; 

public class BOMReader extends BufferedReader { 

    public static final String DEFAULT_ENCODING = "UTF-8"; 

    public BOMReader(File file) throws IOException { 
     this(file, DEFAULT_ENCODING); 
    } 

    private BOMReader(File file, String encoding) throws IOException { 
     this(new FileInputStream(file), encoding); 
    } 

    private BOMReader(FileInputStream input, String encoding) throws IOException { 
     this(new BOMInputStream(input), encoding); 
    } 

    private BOMReader(BOMInputStream input, String encoding) throws IOException { 
     super(new InputStreamReader(input, getCharset(input, encoding))); 
    } 

    private static String getCharset(BOMInputStream bomInput, String encoding) throws IOException { 
     ByteOrderMark bom; 

     bom = bomInput.getBOM(); 
     return bom == null ? encoding : bom.getCharsetName(); 
    } 
} 

Answer 7

Se menciona here que esto suele ser un problema con los archivos en Windows.

Una posible solución sería ejecutar el archivo primero a través de una herramienta como dos2unix.

Answer 8

Use Apache Commons IO.

Por ejemplo, vamos a echar un vistazo en mi código (utilizado para leer un archivo de texto con los dos caracteres latinos y cirílicos) a continuación:

String defaultEncoding = "UTF-16"; 
InputStream inputStream = new FileInputStream(new File("/temp/1.txt")); 

BOMInputStream bomInputStream = new BOMInputStream(inputStream); 

ByteOrderMark bom = bomInputStream.getBOM(); 
String charsetName = bom == null ? defaultEncoding : bom.getCharsetName(); 
InputStreamReader reader = new InputStreamReader(new BufferedInputStream(bomInputStream), charsetName); 
int data = reader.read(); 
while (data != -1) { 

char theChar = (char) data; 
data = reader.read(); 
ari.add(Character.toString(theChar)); 
} 
reader.close(); 

Como resultado hemos un ArrayList llamado "ari" con todo caracteres del archivo "1.txt" excepto BOM.

Answer 9

La manera más fácil que he encontrado para eludir BOM

BufferedReader br = new BufferedReader(new InputStreamReader(fis));  
while ((currentLine = br.readLine()) != null) { 
        //case of, remove the BOM of UTF-8 BOM 
        currentLine = currentLine.replace("",""); 

Answer 10

Considere UnicodeReader de Google, que hace todo este trabajo para usted.

Charset utf8 = Charset.forName("UTF-8"); // default if no BOM present 
try (Reader r = new UnicodeReader(new FileInputStream(file), utf8)) { 
    .... 
} 

Maven Dependencia:

<dependency> 
    <groupId>com.google.gdata</groupId> 
    <artifactId>core</artifactId> 
    <version>1.47.1</version> 
</dependency>