Obtenga pandas.read_csv para leer valores vacíos como cadena vacía en lugar de nan

Question

Estoy usando la biblioteca pandas para leer algunos datos CSV. En mis datos, ciertas columnas contienen cadenas. La cadena "nan" es un valor posible, como una cadena vacía. Me las arreglé para que los pandas leyeran "nan" como una cadena, pero no logro encontrar la forma de que no lea un valor vacío como NaN. He aquí los datos de la muestra y de salida

One,Two,Three 
a,1,one 
b,2,two 
,3,three 
d,4,nan 
e,5,five 
nan,6, 
g,7,seven 

>>> pandas.read_csv('test.csv', na_values={'One': [], "Three": []}) 
    One Two Three 
0 a 1 one 
1 b 2 two 
2 NaN 3 three 
3 d 4 nan 
4 e 5 five 
5 nan 6 NaN 
6 g 7 seven 

correctamente lee "nan", como la cadena "nan', pero todavía se puede leer las celdas vacías como NaN. He intentado pasar en str en el argumento converters a read_csv (con converters={'One': str})), pero todavía lee las celdas vacías como NaN.

Me doy cuenta de que puedo completar los valores después de leer, con fillna, pero ¿realmente no hay forma de decirle a los pandas que una celda vacía en una columna CSV particular debe leerse como una cadena vacía en lugar de NaN?

Answer 1

que añade una entrada para agregar una opción de algún tipo aquí:

https://github.com/pydata/pandas/issues/1450

Mientras tanto, result.fillna('') debe hacer lo que quiera

EDIT: en la versión de desarrollo (de 0,8 .0 final) si especifica una lista vacía de na_values, las cadenas vacías quedarán cadenas vacías en el resultado

Answer 2

Utilice el método fillna, pero úselo dos veces 'nan' = 'nan', 'NaN' = "". Esto mantendría las coma alineadas. Si el NAN no existía, las columnas no se alinearían. Recuerde: nan no es igual a NaN.

Answer 3

Todavía estaba confundido después de leer las otras respuestas y comentarios. Pero la respuesta ahora parece más simple, así que aquí tienes.

Desde pandas versión 0.9 (de 2012), se puede leer el archivo CSV con celdas vacías interpretados como cadenas vacías, simplemente definiendo keep_default_na=False:

pd.read_csv('test.csv', keep_default_na=False) 

Este problema está más claramente explicado en

• More consistent na_values handling in read_csv · Issue #1657 · pandas-dev/pandas

Se arregló el 19 de agosto de 2012 para la versión 0.9 de Pandas en

• BUG: more consistent na_values #1657 · pandas-dev/pandas@d9abf68