¿Hay un conjunto de archivos "Lorem ipsums" para probar problemas de codificación de caracteres?

Question

Para el diseño tenemos nuestro famoso texto "Lorem ipsum" para probar cómo se ve.

Lo que estoy buscando es un conjunto de archivos que contienen texto codificado con varias codificaciones diferentes que puedo usar en mis pruebas JUnit para probar algunos métodos que tratan la codificación de caracteres al leer archivos de texto.

Ejemplo:

Tener un codificada test-archivo ISO 8859-1 y una codificada test-archivo Windows-1252. El Windows-1252 tiene que desencadenar las diferencias en la región 80 - 9F . En otras palabras, debe contener al menos un carácter de esta región para distinguirlo de ISO 8859-1.

Quizás el mejor conjunto de archivos de prueba es aquel en el que el archivo de prueba para cada codificación contiene todos sus caracteres una vez. Pero tal vez no soy consciente de algo, a todos nos gusta esta codificación, ¿verdad? :-)

¿Existe un conjunto de archivos de prueba para problemas de codificación de caracteres?

Answer 1

¿Qué hay de tratar de utilizar los archivos de baño ICU de prueba? No sé si son lo que necesita para su prueba, pero parecen tener archivos de mapeo UTF/UTF bastante completos al menos: Link to the repo for ICU test files

Answer 2

El artículo de Wikipedia en diacritics es bastante completo, desafortunadamente tiene que extraer estos caracteres manualmente. También puede haber algunos mnemotécnicos para cada idioma. Por ejemplo, en Polonia usamos:

Zażółć Gesla JAZN

que contiene todas las 9 diacríticos polacas en una frase correcta. Otra utilidad indirecta de búsqueda son pangrams: oraciones usando cada letra del alfabeto al menos una vez:

• en español, "El veloz murciélago hindú comia del feliz cardillo y kiwi La cigüeña tocaba el saxofón detras. del palenque de paja. "(las 27 letras y signos diacríticos).

• en ruso, "Съешь же ещё этих мягких французских булок, да выпей чаю" (todos los rusos 33 letras del alfabeto cirílico).

List of pangrams contiene un resumen exhaustivo. Alguien se preocupa de envolver esto de una manera simple:

public interface NationalCharacters { 
    String spanish(); 
    String russian(); 
    //... 
} 

library?

Answer 3

Bueno, había usado una herramienta en línea para crear mis conjuntos de caracteres de texto de Lorem Ipsum. Creo que puede ayudarte. No tengo uno que tenga todos los diferentes conjuntos de caracteres en una sola página.

http://generator.lorem-ipsum.info/

Answer 4

No sé de cualquier documento de texto completo, pero si se puede comenzar con una simple visión general de todos los juegos de caracteres hay algunos archivos disponibles en el ftp.unicode.org server

Aquí está WINDOWS-1252 por ejemplo. La primera columna es el valor de carácter hexadecimal, y el segundo el valor de Unicode.

ftp://ftp.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP1250.TXT