¿Cómo contener palabras en la lista de Python?

Question

que tienen lista de Python, como a continuación

documents = ["Human machine interface for lab abc computer applications", 
      "A survey of user opinion of computer system response time", 
      "The EPS user interface management system", 
      "System and human system engineering testing of EPS", 
      "Relation of user perceived response time to error measurement", 
      "The generation of random binary unordered trees", 
      "The intersection graph of paths in trees", 
      "Graph minors IV Widths of trees and well quasi ordering", 
      "Graph minors A survey"] 

ahora tengo que frenar ella (cada palabra) y obtener otra lista. Cómo puedo hacer eso ?

Answer 1

from stemming.porter2 import stem 

documents = ["Human machine interface for lab abc computer applications", 
      "A survey of user opinion of computer system response time", 
      "The EPS user interface management system", 
      "System and human system engineering testing of EPS", 
      "Relation of user perceived response time to error measurement", 
      "The generation of random binary unordered trees", 
      "The intersection graph of paths in trees", 
      "Graph minors IV Widths of trees and well quasi ordering", 
      "Graph minors A survey"] 

documents = [[stem(word) for word in sentence.split(" ")] for sentence in documents] 

Lo que estamos haciendo aquí es utilizar un list comprehension a recorrer cada cadena dentro de la lista principal, la división que en una lista de palabras. Luego recorremos esa lista, derivando cada palabra sobre la marcha, devolviendo la nueva lista de palabras derivadas.

Tenga en cuenta que no he probado esto con stemming instalado - Lo he tomado de los comentarios, y nunca lo he usado. Este es, sin embargo, el concepto básico para dividir la lista en palabras. Tenga en cuenta que esto producirá una lista de listas de palabras, manteniendo la separación original.

Si no desea que esta separación, que puede hacer:

documents = [stem(word) for sentence in documents for word in sentence.split(" ")] 

En cambio, lo que le dejará con una lista continua.

Si desea unirse a las palabras de nuevo juntos al final, que puede hacer:

documents = [" ".join(sentence) for sentence in documents] 

o hacerlo en una sola línea:

documents = [" ".join([stem(word) for word in sentence.split(" ")]) for sentence in documents] 

Dónde mantener la estructura de la oración, o

documents = " ".join(documents) 

Donde se ignora.

Answer 2

Es posible que desee echarle un vistazo al NLTK (Natural Language ToolKit). Tiene un módulo nltk.stem que contiene varios diferentes talladores.

Véase también this question.

Answer 3

Muy bien. Por lo tanto, utilizando el paquete stemming, tendría algo como esto:

from stemming.porter2 import stem 
from itertools import chain 

def flatten(listOfLists): 
    "Flatten one level of nesting" 
    return list(chain.from_iterable(listOfLists)) 

def stemall(documents): 
    return flatten([ [ stem(word) for word in line.split(" ")] for line in documents ]) 

Answer 4

puede utilizar NLTK:

from nltk.stem import PorterStemmer 


ps = PorterStemmer() 
final = [[ps.stem(token) for token in sentence.split(" ")] for sentence in documents] 

NLTK tiene muchas características para sistemas IR, comprobarlo