Marcas de orden de bytes StreamWriter y UTF-8

Question

Tengo un problema con StreamWriter y Byte Order Marks. La documentación parece indicar que la codificación Encoding.UTF8 tiene marcas de orden de bytes habilitadas, pero cuando se escriben algunos, algunos tienen las marcas y otros no.

estoy creando el escritor corriente de la siguiente manera:

this.Writer = new StreamWriter(this.Stream , System.Text.Encoding.UTF8); 

¿Alguna idea sobre sería apreciado lo que podría estar sucediendo.

Answer 1

¿Utiliza el mismo constructor de StreamWriter para cada archivo? Debido a que la documentación dice:

Para crear un StreamWriter utilizando codificación UTF-8 y una lista de materiales, considerar el uso de un constructor que especifica la codificación, como StreamWriter (String, Boolean, codificación).

Me encontré en una situación similar hace un tiempo. Terminé usando el método en lugar del StreamWriter Stream.Write y escribí el resultado de Encoding.GetPreamble() antes de escribir el Encoding.GetBytes(stringToWrite)

Answer 2

La única vez que he visto que el constructor no añadir el BOM UTF-8 es si la corriente no está en la posición 0 cuando lo llamas Por ejemplo, en el código siguiente, la lista de materiales no se escribe:

using (var s = File.Create("test2.txt")) 
{ 
    s.WriteByte(32); 
    using (var sw = new StreamWriter(s, Encoding.UTF8)) 
    { 
     sw.WriteLine("hello, world"); 
    } 
} 

Como otros han dicho, si usted está utilizando el constructor StreamWriter(stream), sin especificar la codificación, entonces no podrá ver la lista de materiales.

Answer 3

¿Podría mostrar una situación en la que no se produce? El único caso en el que el preámbulo no está presente y que puedo encontrar es cuando nunca se escribe nada al escritor (Jim Mischel parece haber encontrado otro, lógico y más probable que sea su problema, vea que es la respuesta).

Mi código de prueba:

var stream = new MemoryStream(); 
using(var writer = new StreamWriter(stream, System.Text.Encoding.UTF8)) 
{ 
    writer.Write('a'); 
} 
Console.WriteLine(stream.ToArray() 
    .Select(b => b.ToString("X2")) 
    .Aggregate((i, a) => i + " " + a) 
    ); 

Answer 4

parece que si el archivo ya existía y no contenía la lista de materiales, entonces no va a contener la lista de materiales cuando sobrescrito, en otras palabras StreamWriter conserva lista de materiales (o es la ausencia) cuando sobrescribe un archivo.

Answer 5

Como alguien ya lo señaló, la llamada sin el argumento de codificación funciona. Sin embargo, si usted quiere ser explícita, intente esto:

using (var sw = new StreamWriter("text.txt", new UTF8Encoding(false))) 

La clave es la construcción de un nuevo UTF8Encoding (falso), en lugar de utilizar Encoding.UTF8Encoding. Eso es para controlar si se debe agregar o no BOM.

Esto es lo mismo que llamar a StreamWriter sin el argumento de codificación, internamente solo hace lo mismo.

Answer 6

El problema se debe al hecho de que está utilizando la estática UTF8 property en el Encoding class.

Cuando el GetPreamble method se llama en la instancia de la clase Encoding devuelto por la propiedad UTF8, devuelve la marca de orden de bytes (la matriz de bytes de tres caracteres) y se escribe en la corriente antes de cualquier otro tipo de contenido se escribe en el transmisión (suponiendo una nueva transmisión).

Esto se puede evitar mediante la creación de la instancia de la UTF8Encoding class a sí mismo, así:

// As before. 
this.Writer = new StreamWriter(this.Stream, 
    // Create yourself, passing false will prevent the BOM from being written. 
    new System.Text.UTF8Encoding()); 

De acuerdo con la documentación para el (la cursiva es mía) default parameterless constructor:

Esto crea una instancia que no proporciona una marca de orden de bytes Unicode y no arroja una excepción cuando se detecta una codificación no válida.

Esto significa que la llamada a GetPreamble devolverá una matriz vacía y, por lo tanto, no se escribirá ninguna lista de materiales en la secuencia subyacente.

Answer 7

Mi respuesta se basa en la de HelloSam que contiene toda la información necesaria. Solo creo que lo que OP está pidiendo es cómo asegurarse de que la LDM se emita en el archivo.

Por lo tanto, en lugar de pasar el código falso a UTF8Encoding ctor debe pasar cierto.

using (var sw = new StreamWriter("text.txt", new UTF8Encoding(true))) 

Prueba el código de abajo, abrir los archivos resultantes en un editor hexadecimal y ver cuál contiene la lista de materiales y no el que lo hace.

class Program 
{ 
    static void Main(string[] args) 
    { 
     const string nobomtxt = "nobom.txt"; 
     File.Delete(nobomtxt); 

     using (Stream stream = File.OpenWrite(nobomtxt)) 
     using (var writer = new StreamWriter(stream, new UTF8Encoding(false))) 
     { 
      writer.WriteLine("HelloПривет"); 
     } 

     const string bomtxt = "bom.txt"; 
     File.Delete(bomtxt); 

     using (Stream stream = File.OpenWrite(bomtxt)) 
     using (var writer = new StreamWriter(stream, new UTF8Encoding(true))) 
     { 
      writer.WriteLine("HelloПривет"); 
     } 
    } 

Answer 8

encontré esta respuesta útil (gracias a @Philipp Grathwohl y @Nik), pero en mi caso estoy usando FileStream para realizar la tarea, por lo que, el código que genera la lista de materiales dice así:

using (FileStream vStream = File.Create(pfilePath)) 
{ 
    // Creates the UTF-8 encoding with parameter "encoderShouldEmitUTF8Identifier" set to true 
    Encoding vUTF8Encoding = new UTF8Encoding(true); 
    // Gets the preamble in order to attach the BOM 
    var vPreambleByte = vUTF8Encoding.GetPreamble(); 

    // Writes the preamble first 
    vStream.Write(vPreambleByte, 0, vPreambleByte.Length); 

    // Gets the bytes from text 
    byte[] vByteData = vUTF8Encoding.GetBytes(pTextToSaveToFile); 
    vStream.Write(vByteData, 0, vByteData.Length); 
    vStream.Close(); 
}