¿Cómo creo mi propio texto NLTK a partir de un archivo de texto?

Question

Soy un estudiante graduado de Literatura, y he estado revisando el libro de O'Reilly en Natural Language Processing (nltk.org/book). Se ve increíblemente útil. He jugado con todos los textos de ejemplo y tareas de ejemplo en el Capítulo 1, como concordancias. Ahora sé cuántas veces Moby Dick usa la palabra "ballena". El problema es que no puedo descifrar cómo hacer estos cálculos en uno de mis propios textos. Encontré información sobre cómo crear mi propio corpus (Capítulo 2 del libro de O'Reilly), pero no creo que eso sea exactamente lo que quiero hacer. En otras palabras, quiero ser capaz de hacer

import nltk 
text1.concordance('yellow') 

y obtener los lugares donde la palabra 'amarillo' se utiliza en mi texto. Por el momento, puedo hacer esto con los textos de ejemplo, pero no con los míos.

Soy muy nuevo en python y en programación, así que esto es muy emocionante, pero muy confuso.

Answer 1

Encontré la respuesta yo mismo. Eso es vergonzoso. O increíble

De Ch. 3:

f=open('my-file.txt','rU') 
raw=f.read() 
tokens = nltk.word_tokenize(raw) 
text = nltk.Text(tokens) 

Tiene el truco.

Answer 2

Para una importación estructurado de varios archivos:

from nltk.corpus import PlaintextCorpusReader 

# RegEx or list of file names 
files = ".*\.txt" 

corpus0 = PlaintextCorpusReader("/path/", files) 
corpus = nltk.Text(corpus0.words()) 

véase: NLTK 3 book/sección 1.9