Python: cargar palabras del archivo en un conjunto

Tengo un archivo de texto simple con varios miles de palabras, cada una en su propia línea, p. Ej.Python: cargar palabras del archivo en un conjunto

aardvark 
hello 
piper

uso el siguiente código para cargar las palabras en un conjunto (Necesito la lista de palabras para probar la pertenencia, por lo que establecer es la estructura de datos Elegí):

my_set = set(open('filename.txt'))

El código anterior produce un conjunto con las siguientes entradas (cada palabra es seguida por un espacio y una nueva línea de caracteres:?

("aardvark \n", "hello \n", "piper \n")

¿Cuál es la forma más sencilla de cargar el archivo en un conjunto, pero deshacerse del espacio y \ n

Gracias

Fuente

2009-05-17 Roee Adler

El método de la tira() de cadenas elimina los espacios en blanco desde ambos extremos.

set(line.strip() for line in open('filename.txt'))

Fuente

2009-05-17 06:38:20

Esto es superior a la solución establecida si tiene un archivo grande, porque map cargará todo el archivo en la memoria como una lista de líneas, que luego serán descartadas (itertools.imap puede arreglar eso, sin embargo). –

@Ryan: eso es cierto para Python <= 2.6, pero en 3.0 map devuelve un generador. – Stephan202

@RyanGinstrom Disculpa por llegar tan tarde, ¡pero no pude evitar hacerte esta pregunta! Yo había observado que 'print'' my_set [0] 'seguiría imprimiendo' aardvark'. ¿Movió el cursor a la siguiente línea después de imprimir? Corrígeme si me equivoco, pero ¿cómo sucede esto? (Python 27) ¡Gracias! –

my_set = set(map(str.strip, open('filename.txt')))

Fuente

2009-05-17 06:36:03 RichieHindle

Esta solución eliminará correctamente cualquier espacio y caracteres de nueva línea al aplicar el método str.strip a cada línea de nombre de archivo.txt – Wesley

Para eliminar solo los espacios de la derecha.

set(map(str.rstrip, open('filename.txt')))

Fuente

2009-05-17 06:40:33 Unknown

Si el tamaño del archivo era bastante grande, este método sería potencialmente más rápido. Evita una comparación adicional con isspace() en el lado izquierdo de cada cadena. –

Sí, el autor solo especificó espacios en el lado derecho, por lo que tenía sentido hacer rstrip en lugar de tirar o dividir. – Unknown

Sólo tiene que cargar todos los datos del archivo, que se dividió, se hará cargo de una palabra por línea o varias palabras por línea, separados por espacios, también será más rápido para cargar todo el archivo a la vez a menos que el archivo está en GB

words = set(open('filename.txt').read().split())

Fuente

2009-05-17 06:41:17

Entonces, ¿esto funcionaría si tengo una palabra por línea y también si tengo varias palabras por línea? (suponiendo que tengo una línea como "hola adiós" quiero que "hola" y "adiós" sean dos palabras separadas en el conjunto) –

sí, básicamente se dividirá en espacio, nuevas pestañas de línea, etc. para que pueda tener todas las palabras en línea simple o en línea múltiple o mixta –

y no se preocupe abt cargando todo el archivo en la memoria a menos que tenga un archivo muy grande que dudo pocos MBs es perfecto y este será el más rápido –

with open("filename.txt") as f: 
    mySet = map(str.rstrip, f)

Si desea utilizar esto en Python 2.5, necesita

from __future__ import with_statement

Fuente

2009-05-17 09:02:27

Creo que aquí tiene sintaxis error: conjunto (mapa (str.rstrip ('\ n') str, f) – mtasic85

Gracias por captar eso, lo he corregido. –

with open("filename.txt") as f: 
    s = set([line.rstrip('\n') for line in f])

Fuente

2009-05-17 11:27:16 mtasic85

no necesita comprensión de lista allí – SilentGhost

Python: cargar palabras del archivo en un conjunto

Respuesta

Cuestiones relacionadas