Problema con caracteres unicode en sustitución en F #

Question

Estoy trabajando con cadenas, que podrían contener caracteres sustitutos Unicode (no BMP, 4 bytes por carácter).

Cuando uso el formato "\ Uxxxxxxxxv" para especificar el carácter sustituto en F # - para algunos caracteres da un resultado diferente que en el caso de C#. Por ejemplo:

C#:

string s = "\U0001D11E"; 
bool c = Char.IsSurrogate(s, 0); 
Console.WriteLine(String.Format("Length: {0}, is surrogate: {1}", s.Length, c)); 

Da: Length: 2, is surrogate: True

F #:

let s = "\U0001D11E" 
let c = Char.IsSurrogate(s, 0) 
printf "Length: %d, is surrogate: %b" s.Length c 

Da: Length: 2, is surrogate: false

Nota: algunos personajes sustitutos funcionan en F # ("\ U0010011", "\ U00100011"), pero algunos de ellos no funcionan.

P: ¿Esto es un error en F #? ¿Cómo puedo mango permitido caracteres Unicode sustitutas en las cadenas con F # (no F # tiene un formato diferente, o sólo la forma es utilizarChar.ConvertFromUtf32 0x1D11E)

Actualización:
s.ToCharArray() da para F # [| 0xD800; 0xDF41 |]; para C# { 0xD834, 0xDD1E }

Answer 1

Eso obviamente significa que F # comete un error al analizar algunos literales de cadena. Eso está demostrado por el hecho de que el personaje que ha mencionado no es BMP, y en UTF-16 debería representarse como un par de sustitutos. Los sustitutos son palabras en el rango 0xD800-0xDFFF, mientras que ninguno de los caracteres en cadena producida cabe en ese rango.

Pero el procesamiento de sustitutos no cambia, ya que el marco (lo que está debajo del capó) es el mismo.De modo que ya tiene respuesta en su pregunta: si necesita cadenas literales con caracteres que no sean BMP en su código, debe usar Char.ConvertFromUtf32 en lugar de la notación \ UXXXXXXXX. Y todo el resto del procesamiento será el mismo que siempre.

Answer 2

Me parece que esto es algo relacionado con las diferentes formas de normalización. Tanto en C# y F # en s.IsNormalized() devuelve verdadero Pero en C#

s.ToCharArray() nos da {55348, 56606} // 0xD834, 0xDD1E

y en Fa #

s.ToCharArray() nos da {65533, 57422} // 0xFFFD, 0xE04E

Y como usted probablemente sabe System.Char.IsSurrogate se implementa de la siguiente manera:

public static bool IsSurrogate(char c) 
    { 
     return (c >= HIGH_SURROGATE_START && c <= LOW_SURROGATE_END); 
    } 

donde

HIGH_SURROGATE_START = 0x00d800; 
    LOW_SURROGATE_END = 0x00dfff; 

Así que en C# primer carácter (55348) es menor que LOW_SURROGATE_END pero en F # primer carácter (65533) no es menor que LOW_SURROGATE_END.

Espero que esto ayude.

Answer 3

Este es un error conocido en el compilador F # que se envió con VS2010 (y SP1); la corrección aparece en los bits VS11, por lo tanto, si tiene VS1 Beta y usa el compilador F # 3.0, verá que esto se comporta como se esperaba.

(Si las otras respuestas/comentarios aquí no le proporcionan una solución adecuada, mientras tanto, que me haga saber.)