read.csv es extremadamente lento en la lectura de archivos csv con un gran número de columnas

Question

Tengo un archivo .csv: example.csv con 8000 columnas x 40000 filas. El archivo csv tiene un encabezado de cadena para cada columna. Todos los campos contienen valores enteros entre 0 y 10. Cuando intento cargar este archivo con read.csv, resulta extremadamente lento. También es muy lento cuando agrego un parámetro nrow = 100. Me pregunto si hay una forma de acelerar el read.csv, o usar alguna otra función en lugar de read.csv para cargar el archivo en la memoria como una matriz o un data.frame.

Gracias de antemano.

Answer 1

Si el archivo CSV contiene sólo números enteros, se debe utilizar scan en lugar de read.csv, ya ?read.csv dice:

‘read.table’ is not the right tool for reading large matrices, 
especially those with many columns: it is designed to read _data 
frames_ which may have columns of very different classes. Use 
‘scan’ instead for matrices. 

Desde su archivo tiene un encabezado, necesitará skip=1, y probablemente será más rápido si establecer what=integer(). Si debe usar read.csv y el consumo de velocidad/memoria es una preocupación, establecer el argumento colClasses es de gran ayuda.

Answer 2

Si lee el archivo con frecuencia, podría valer la pena guardarlo de R en un formato binario utilizando la función save. Especificar compress=FALSE a menudo da como resultado tiempos de carga más rápidos.

... A continuación, puede cargarlo con la función (¡sorpresa!) load.

d <- as.data.frame(matrix(1:1e6,ncol=1000)) 
write.csv(d, "c:/foo.csv", row.names=FALSE) 

# Load file with read.csv 
system.time(a <- read.csv("c:/foo.csv")) # 3.18 sec 

# Load file using scan 
system.time(b <- matrix(scan("c:/foo.csv", 0L, skip=1, sep=','), 
         ncol=1000, byrow=TRUE)) # 0.55 sec 

# Load (binary) file using load 
save(d, file="c:/foo.bin", compress=FALSE) 
system.time(load("c:/foo.bin")) # 0.09 sec 

Answer 3

Probar usando fread{data.table}. Esta es una de las formas más rápidas de leer los archivos .csv en R. Hay un good benchmark here.

library(data.table) 

data <- fread("c:/data.csv") 

Si quieres que sea aún más rápido, también puede leer sólo el subconjunto de columnas que desea utilizar:

data <- fread("c:/data.csv", select = c("col1", "col2", "col3")) 

Answer 4

Proveedores readr paquete de Hadley Wickham:

library(readr) 
data <- read_csv("file.csv")