Reemplazar todos los caracteres acentuados por su látex equivalente

Question

Dada una cadena Unicode, quiero reemplazar caracteres no ASCII por código LaTeX producción de ellos (por ejemplo, tener é se convierten en \'e, y œ convertido \oe). Estoy incorporando esto en un código de Python. Esto debería depender de una tabla de traducción, y me han llegado con el siguiente código, que es simple y parece funcionar muy bien:

accents = [ 
    [ u"à", "\\`a"], 
    [ u"é", "\\'e"] 
    ] 
translation_table = dict([(ord(k), unicode(v)) for k, v in accents]) 
print u"été à l'eau".translate(translation_table) 

Pero, escribiendo una tabla de traducción bastante completa me va a llevar mucho tiempo, y Google no ayudó mucho. ¿Alguien tiene algo así o sabe dónde encontrarlo?

PD: Soy nuevo en Python, así que bienvenida a los comentarios en el código anterior, por supuesto.

Answer 1

Descargar the Unicode Character Database (alrededor de 1 MB). se puede encontrar una tabla relacional para la combinación equivalente de caracteres, por ejemplo é = \u00E9 es e+ ́ que es equivalente a \u0065+\u0301 (LATIN SMALL LETTER E + COMBINING ACUTE ACCENT). puede escribir códigos simples para convertir todos los caracteres combinatorios de todos los scripts o simplemente los que desee (puede controlar por campo de script en la base de datos).

luego vuelva a colocar las combinaciones con código LaTeX. por ejemplo, use la expresión regular \w\u0065 para reemplazar diactrics: \'<the_letter>. (No estoy seguro acerca de la sintaxis Depende de su lenguaje de programación y motor de expresiones regulares..)

EDIT: Si está utilizando Python, ya tiene la base de datos y una implementación de un controlador de usarlo . como se menciona en el comentario siguiente, import unicodedata.

Answer 2

quizá no traducir los caracteres, sino utilizar el paquete inputenc y el texto Unicode como es

Answer 3

Si no está en control de las opciones de compilación de LaTeX, se puede utilizar la misma tabla utilizada por el paquete inputenc, por lo que la el comportamiento será el mismo que si hubiera usado inputenc.

This document explica cómo inputenc el mapeo, es una secuencia de

... 
194 hall; t1; ly1i\DeclareUnicodeCharacter{00C2}{\^A} 
195 hall; t1; ly1i\DeclareUnicodeCharacter{00C3}{\~A} 
196 hall; t1; ly1i\DeclareUnicodeCharacter{00C4}{\"A} 
197 hall; t1; ot1; ly1i\DeclareUnicodeCharacter{00C5}{\r A} 
198 hall; t1; ot1; ly1; lcyi\DeclareUnicodeCharacter{00C6}{\AE} 
199 hall; t1; ly1i\DeclareUnicodeCharacter{00C7}{\c C} 
200 hall; t1; ly1i\DeclareUnicodeCharacter{00C8}{\@tabacckludge`E} 

Se podría analizar el archivo en busca de todas las líneas DeclareUnicodeCharacter y extraer con una expresión regular la asignación.

EDIT: He escrito un código que hace el truco:

# -*- coding: utf-8 -*- 
import re 

translation_table = {} 

for line in open('utf8ienc.dtx'): 
    m = re.match(r'%.*\DeclareUnicodeCharacter\{(\w+)\}\{(.*)\}', line) 
    if m: 
     codepoint, latex = m.groups() 
     latex = latex.replace('@tabacckludge', '') # remove useless (??) '@tabacckludge' 
     translation_table[int(codepoint, 16)] = unicode(latex) 

print u"été à l'eau".translate(translation_table) 

# outputs "\'et\'e \`a l'eau" 

Debe encontrar utf8ienc.dtx en su instalación de látex, o puede google.

Answer 4

OK, así que aquí está la mesa me he construido por ahora. ¡No dude en editar para agregarlo! (o comentar si no tiene suficiente reputación para editar)

################################################################ 
# LaTeX accents replacement 
latexAccents = [ 
    [ u"à", "\\`a" ], # Grave accent 
    [ u"è", "\\`e" ], 
    [ u"ì", "\\`\\i" ], 
    [ u"ò", "\\`o" ], 
    [ u"ù", "\\`u" ], 
    [ u"ỳ", "\\`y" ], 
    [ u"À", "\\`A" ], 
    [ u"È", "\\`E" ], 
    [ u"Ì", "\\`\\I" ], 
    [ u"Ò", "\\`O" ], 
    [ u"Ù", "\\`U" ], 
    [ u"Ỳ", "\\`Y" ], 
    [ u"á", "\\'a" ], # Acute accent 
    [ u"é", "\\'e" ], 
    [ u"í", "\\'\\i" ], 
    [ u"ó", "\\'o" ], 
    [ u"ú", "\\'u" ], 
    [ u"ý", "\\'y" ], 
    [ u"Á", "\\'A" ], 
    [ u"É", "\\'E" ], 
    [ u"Í", "\\'\\I" ], 
    [ u"Ó", "\\'O" ], 
    [ u"Ú", "\\'U" ], 
    [ u"Ý", "\\'Y" ], 
    [ u"â", "\\^a" ], # Circumflex 
    [ u"ê", "\\^e" ], 
    [ u"î", "\\^\\i" ], 
    [ u"ô", "\\^o" ], 
    [ u"û", "\\^u" ], 
    [ u"ŷ", "\\^y" ], 
    [ u"Â", "\\^A" ], 
    [ u"Ê", "\\^E" ], 
    [ u"Î", "\\^\\I" ], 
    [ u"Ô", "\\^O" ], 
    [ u"Û", "\\^U" ], 
    [ u"Ŷ", "\\^Y" ], 
    [ u"ä", "\\\"a" ], # Umlaut or dieresis 
    [ u"ë", "\\\"e" ], 
    [ u"ï", "\\\"\\i" ], 
    [ u"ö", "\\\"o" ], 
    [ u"ü", "\\\"u" ], 
    [ u"ÿ", "\\\"y" ], 
    [ u"Ä", "\\\"A" ], 
    [ u"Ë", "\\\"E" ], 
    [ u"Ï", "\\\"\\I" ], 
    [ u"Ö", "\\\"O" ], 
    [ u"Ü", "\\\"U" ], 
    [ u"Ÿ", "\\\"Y" ], 
    [ u"ç", "\\c{c}" ], # Cedilla 
    [ u"Ç", "\\c{C}" ], 
    [ u"œ", "{\\oe}" ], # Ligatures 
    [ u"Œ", "{\\OE}" ], 
    [ u"æ", "{\\ae}" ], 
    [ u"Æ", "{\\AE}" ], 
    [ u"å", "{\\aa}" ], 
    [ u"Å", "{\\AA}" ], 
    [ u"–", "--" ], # Dashes 
    [ u"—", "---" ], 
    [ u"ø", "{\\o}" ], # Misc latin-1 letters 
    [ u"Ø", "{\\O}" ], 
    [ u"ß", "{\\ss}" ], 
    [ u"¡", "{!`}" ], 
    [ u"¿", "{?`}" ], 
    [ u"\\", "\\\\" ], # Characters that should be quoted 
    [ u"~", "\\~" ], 
    [ u"&", "\\&" ], 
    [ u"$", "\\$" ], 
    [ u"{", "\\{" ], 
    [ u"}", "\\}" ], 
    [ u"%", "\\%" ], 
    [ u"#", "\\#" ], 
    [ u"_", "\\_" ], 
    [ u"≥", "$\\ge$" ], # Math operators 
    [ u"≤", "$\\le$" ], 
    [ u"≠", "$\\neq$" ], 
    [ u"©", "\copyright" ], # Misc 
    [ u"ı", "{\\i}" ], 
    [ u"µ", "$\\mu$" ], 
    [ u"°", "$\\deg$" ], 
    [ u"‘", "`" ], #Quotes 
    [ u"’", "'" ], 
    [ u"“", "``" ], 
    [ u"”", "''" ], 
    [ u"‚", "," ], 
    [ u"„", ",," ], 
]