creando el marco de datos de pandas desde múltiples archivos

Question

Estoy tratando de crear un pandas DataFrame y funciona bien para un solo archivo. Si necesito compilarlo para múltiples archivos que tienen la misma estructura de datos. Entonces, en lugar de un solo nombre de archivo, tengo una lista de nombres de archivos desde los cuales me gustaría crear el DataFrame.

No estoy seguro de cuál es la forma de anexar a la actual DataFrame en pandas o hay una manera para que los pandas chupen una lista de archivos en un DataFrame.

Answer 1

El comando pandas concat es tu amigo aquí. Digamos que tienes todos tus archivos en un directorio, targetdir. Puede:

1. hacer una lista de los archivos
2. cargarlos como pandas tramas de datos
3. y concatenar juntos

`

import os 
import pandas as pd 

#list the files 
filelist = os.listdir(targetdir) 
#read them into pandas 
df_list = [pd.read_table(file) for file in filelist] 
#concatenate them together 
big_df = pd.concat(df_list) 

Answer 2

Podría tratar de concatenar los archivos antes de alimentarlos con pandas. Si está en Linux o Mac puede usar cat, de lo contrario, una función muy simple de Python podría hacer el trabajo por usted.

Answer 3

Son estos archivos en formato csv. Puede usar read_csv. http://pandas.sourceforge.net/io.html

Una vez que haya leído los archivos y los haya guardado en dos marcos de datos, podría unir los dos marcos de datos o agregar columnas adicionales a uno de los dos marcos de datos (suponiendo un índice común). Los pandas deberían poder completar las filas faltantes.

Answer 4

potencialmente terriblemente ineficiente, sino ...

Por qué no usar read_csv, la construcción de dos (o más) tramas de datos, a continuación, utilizar unirse a ponerlos juntos?

Dicho esto, sería más fácil responder a su pregunta si proporciona algunos datos o parte del código que ha utilizado hasta el momento.