Algoritmos de ajuste de palabras para japonés

Question

En una aplicación web reciente que construí, me sorprendió gratamente cuando uno de nuestros usuarios decidió usarlo para crear algo completamente en japonés. Sin embargo, el texto estaba envuelto de manera extraña y torpe. Aparentemente, los navegadores no manejan muy bien el texto japonés, probablemente porque contiene pocos espacios, ya que cada personaje forma una palabra completa. Sin embargo, no es una suposición segura ya que algunas palabras están compuestas de varios caracteres, y no es seguro dividir algunos grupos de caracteres en líneas diferentes.

Google no me ha ayudado realmente a entender el problema mejor. Me parece que uno necesitaría un diccionario de patrones irrompibles, y asumir que en cualquier otro lugar es seguro romperlo. Pero me temo que no sé lo suficiente sobre japonés para saber realmente todas las palabras, lo que entiendo de algunas de mis búsquedas, son bastante complicadas.

¿Cómo abordaría este problema? ¿Hay alguna biblioteca o algoritmo de los que ya tenga conocimiento que se ocupen de esto de manera satisfactoria?

Answer 1

Las reglas japonesas de ajuste de palabras se llaman kinsoku shori y son sorprendentemente simples. En realidad, se preocupan principalmente por los signos de puntuación y no tratan de mantener las palabras intactas.

Acabo de consultar con una novela japonesa y, de hecho, ambas palabras en el guión syllabic kana y las que consisten en múltiples ideogramas chinos se envuelven a media palabra con impunidad.