Cómo identificar ideas y conceptos en un texto dado

Question

Estoy trabajando en un proyecto en el momento en que sería realmente útil poder detectar cuándo se menciona un determinado tema/idea en un cuerpo de texto. Por ejemplo, si el texto contiene:

Quizás si me diga un poco más acerca de quién es el Sr. Jones, eso ayude. También sería útil si pudiera tener una descripción de su apariencia, o incluso mejor una fotografía.

Sería genial poder detectar que la persona ha pedido una fotografía de Mr Jones. Yo podría adoptar un enfoque muy ingenuo y sólo tiene que buscar la palabra "foto" o "fotografía", pero esto sería obviamente no es bueno si ellos escribieron algo como:

Por favor, no me envíe una foto del Sr. Jones.

¿Alguien sabe por dónde empezar con esto? ¿Es posible?

He investigado cosas como nltk, pero aún no he encontrado un ejemplo de alguien que haga algo similar y todavía no estoy del todo seguro de cómo se llama este tipo de análisis. Cualquier ayuda que pueda ayudarme a despegar sería genial.

Gracias!

Answer 1

NLTK no es un mal marco para analizar el lenguaje natural, pero tenga en cuenta que este no es un asunto sencillo. Hacer cosas como esta es realmente la programación a nivel de investigación.

Algo bueno que lo hace mucho más fácil es que si tiene un dominio muy limitado, digamos que su aplicación se enfoca en información sobre escritores famosos, entonces puede evitar algunas complejidades del lenguaje natural como ciertos tipos de ambigüedades.

¿Por dónde empezar? Buena pregunta. No conozco ningún tutorial sobre el tema (y supongo que probé la opción Google), pero me imagino que iTunes U tendría un curso sobre el tema. Si no puedo publicar un enlace a un curso que he hecho que menciona el tema y no fue completamente horrible: http://www.inf.ed.ac.uk/teaching/courses/inf2a/lecturematerials/index.html#lecture01

Answer 2

Lo mejor que puede ser útil para usted es el análisis de sentimiento automático. Esto se usa, por ejemplo, para juzgar si, por ejemplo, una opinión del cliente es positiva o negativa. No puedo darle indicaciones directas sobre las herramientas disponibles, pero esto es lo que está buscando.

Debo decir, sin embargo, que este es un tema candente actual en el procesamiento del lenguaje natural y he visto una serie de documentos en conferencias. Definitivamente es un asunto bastante complejo y si está comenzando desde cero, podría tomar bastante tiempo antes de obtener los resultados que desea.

Answer 3

El problema que enfrenta es muy desafiante.

Comenzaré identificando las entidades en el texto (problema referido como Reconocimiento de Entidad Nombrada, google it), y luego trataré de identificar conceptos.

Si desea identificar aproximadamente de qué trata el texto, le sugiero que empiece utilizando WordNet y de acuerdo con las palabras y sus lugares en la jerarquía para identificar los conceptos involucrados. Si desea producir un sistema que muestre inteligencia real, debe comenzar a investigar sobre recursos como CYC (OpenCYC) que le permitirán convertir las oraciones en frases FOL.

Este hardcore AI, enfoque para resolver su problema. Para el chat simple bot, sería más fácil confiar en métodos estadísticos simples.

buena suerte