R: ¿Es posible paralelizar/acelerar la lectura de una CSV de más de 20 millones de filas en R?

Question

Una vez que el CSV se carga a través read.csv, es bastante trivial para utilizar multicore, segue etc para jugar con los datos de la CSV. Leerlo, sin embargo, es bastante el tiempo de hundirse.

cuenta de que es mejor utilizar MySQL, etc, etc

Suponga que el uso de un 8XL AWS agruparse instancia de proceso se ejecuta R2.13

Especificaciones de la siguiente manera:

Cluster Compute Eight Extra Large specifications: 
88 EC2 Compute Units (Eight-core 2 x Intel Xeon) 
60.5 GB of memory 
3370 GB of instance storage 
64-bit platform 
I/O Performance: Very High (10 Gigabit Ethernet) 

Cualquier pensamientos/ideas muy apreciado.

Answer 1

Lo que podría hacer es usar scan. Dos de sus argumentos de entrada podrían ser interesantes: n y skip. Simplemente abra dos o más conexiones al archivo y use skip y n para seleccionar la parte que desea leer del archivo. Hay algunas advertencias:

• En algún momento, disco i/o podría ser el cuello de la botella.
• espero que la exploración no se queja al abrir múltiples conexiones a un mismo archivo.

Pero podría intentarlo y ver si aumenta su velocidad.

Answer 2

Flash o de almacenamiento HD convencional? En este último caso, si no sabe dónde está el archivo en las unidades y cómo se divide, es muy difícil acelerar las cosas porque las lecturas múltiples simultáneas no serán más rápidas que una lectura transmitida. Es por el disco, no por la CPU. No hay forma de paralelizar esto sin comenzar en el nivel de almacenamiento del archivo.

Si se trata de almacenamiento flash, una solución como la de Paul Hiemstra podría ayudar, ya que un buen almacenamiento flash puede tener un excelente rendimiento de lectura aleatoria, casi secuencial. Pruébalo ... pero si no te está ayudando a saber por qué.

también ... una interfaz de almacenamiento rápido no implica que en las unidades pueden saturarlo. ¿Has realizado pruebas de rendimiento en las unidades para ver qué tan rápido realmente son?

Answer 3

ir paralelo no podría ser necesaria si se utiliza fread en data.table.

library(data.table) 
dt <- fread("myFile.csv") 

Un comentario a este question ilustra su poder. También aquí está un ejemplo de mi propia experiencia:

d1 <- fread('Tr1PointData_ByTime_new.csv') 
Read 1048575 rows and 5 (of 5) columns from 0.043 GB file in 00:00:09 

yo era capaz de leer en 1,04 millones de filas en menos de 10 segundos!