Detectar lenguaje de texto

Question

¿Hay alguna biblioteca C# que pueda detectar el idioma de una determinada pieza de texto? es decir, para un texto de entrada "This is a sentence", debe detectar el idioma como "English". O para "Esto es una sentencia", debe detectar el idioma como "Spanish".

Entiendo que la detección del lenguaje desde el texto no es un problema determinista. Pero tanto Google Translate como Bing Translator tienen una opción de "detección automática", que mejor adivina el idioma de entrada. ¿Hay algo similar disponible públicamente, preferiblemente en C#?

Answer 1

Querrá un algoritmo de aprendizaje automático basado en cadenas de markov ocultas, procese un grupo de textos en diferentes idiomas.

Luego, cuando llega el texto no identificado, el idioma que tiene el puntaje más cercano es el ganador.

Answer 2

Aquí tienes un simple detector basado en estadísticas bigrama (básicamente significa aprender de un gran conjunto, que Bigramas ocurrir con mayor frecuencia en cada idioma y luego contar los de un fragmento de texto, en comparación con sus valores detectados previamente):

http://allantech.blogspot.com/2007/07/automatic-language-detection.html

Esto es probablemente lo suficientemente bueno para muchos (la mayoría?) aplicaciones y no requiere acceso a Internet.

Por supuesto, funcionará peor que el algoritmo de Google o Bing (que a su vez no son geniales). Si necesita excelente rendimiento de detección, tendrá que realizar un trabajo arduo y una gran cantidad de datos.

La otra opción sería aprovechar las API Google o Bing si su aplicación tiene acceso a Internet.

Answer 3

La detección del lenguaje es algo bastante difícil de hacer.

Algunos lenguajes son mucho más fáciles de detectar que otros simplemente debido a los signos diacríticos y los dígrafos/trigrafos utilizados. Por ejemplo, double-acute accents se usan casi exclusivamente en húngaro. El dotless i ‘ ı ’, se usa exclusivamente [Creo] en turco, t-coma (no t-cedilla) se usa solo en rumano, y el eszett ‘ ß ’ aparece solo en alemán.

Algunos dígrafos, trigrafos y tetragrafías también son un buen obsequio. Por ejemplo, lo más probable es encontrar ‘ eeuw ’ y ‘ ieuw ’ principalmente en holandés, y ‘ tsch ’ y ‘ DSCH ’ principalmente en alemán, etc.

Más regalos incluyan palabras comunes o prefijos comunes/sufijos utilizados en un lenguaje particular. A veces, incluso la puntuación que se utiliza puede ayudar a determinar un idioma (estilo de cotización y uso, etc.).

Si existe una biblioteca de este tipo, me gustaría saberlo, ya que estoy trabajando en una.

Answer 4

No es una herramienta sencilla para identificar el idioma del texto: http://www.detectlanguage.com/

Answer 5

he encontrado que "textcat" es muy útil para esto.Utilicé una implementación de PHP, PHP Text Cat, basada en este this original implementation, y la encontré confiable. Si echas un vistazo a las fuentes, encontrarás que no es terriblemente difícil de implementar en el idioma que elijas. El trabajo arduo, las combinaciones de letras que son relevantes para un idioma en particular, está todo allí como datos.

Answer 6

Sí, de hecho, TextCat es muy bueno para la identificación del idioma. Y tiene muchas implementaciones en diferentes idiomas.

No hay puertos en .Net. Así que he escrito uno: NTextCat (NuGet, Online Demo).

Es .NET Framework DLL puro + interfaz de línea de comando. Por defecto, usa un perfil de 14 idiomas.

¡Cualquier comentario es muy apreciado! Las nuevas ideas y peticiones son bienvenidos también :)

Answer 7

Por favor, encontrar una aplicación C# basado en el análisis 3grams aquí:

http://idsyst.hu/development/language_detector.html