¿Qué es un chunker en Procesamiento de lenguaje natural?

Question

¿Alguien sabe qué es un chunker en el contexto del procesamiento de texto y cuál es su uso?

Answer 1

De acuerdo con these slides, la fragmentación es una alternativa al análisis sintáctico que proporciona una estructura sintáctica parcial de una oración, con una profundidad de árbol limitada, en oposición a un análisis completo.

Es más limitado que el análisis completo, pero es suficiente cuando se trata de extraer o ignorar información y, por lo tanto, se utiliza muchas veces, ya que es más rápido y más sólido que el análisis sintáctico.

Mucha más información está disponible en las diapositivas.

Otros enlaces:

• More slides
• Notes from lectures at NYU

Answer 2

Es un tipo muy simplista de análisis, llamados shallow parsing. El proyecto cuenta con un módulo OpenNLP chunker disponible, y se puede ver su documentation para un ejemplo de fragmentación en la acción

Answer 3

No estoy en desacuerdo personal con las otras respuestas, pero Juraksky & Martin dar una definición ligeramente diferente. Para ellos, fragmentación es específicamente el tipo de análisis superficial en el que no hay frases recursivas.

Un ejemplo que dan es la frase "el vuelo desde Denver". Un análisis que sería no generado por un chunker es "[NP el vuelo [PP de [NP Denver]]]" porque implica una gramática con NP-recursividad.