R - Leer STDIN línea por línea

Question

Quiero transmitir una tabla de datos grandes en R LINE BY LINE, y si la línea actual tiene una condición específica (digamos que las primeras columnas son> 15), agregue la línea a un dato marco en la memoria. He escrito el código siguiente:

count<-1; 
Mydata<-NULL; 
fin <- FALSE; 
while (!fin){ 
    if (count==1){ 
     Myrow=read.delim(pipe('cat /dev/stdin'), header=F,sep="\t",nrows=1); 
     Mydata<-rbind(Mydata,Myrow); 
     count<-count+1; 
    } 
    else { 
     count<-count+1; 
     Myrow=read.delim(pipe('cat /dev/stdin'), header=F,sep="\t",nrows=1); 
     if (Myrow!=""){ 
     if (MyCONDITION){ 
      Mydata<-rbind(Mydata,Myrow); 
     } 
     } 
     else 
     {fin<-TRUE} 
    } 
} 
print(Mydata); 

Pero me sale el error "datos no disponibles". Tenga en cuenta que mis datos son grandes y no quiero leerlos todos una vez y aplicar mi condición (en este caso fue fácil).

Answer 1

Creo que sería más sensato usar una función R como readLines. readLines admite solo la lectura de un número específico de líneas, p. 1. Combine eso con abrir primero una conexión file, y luego llamar al readLines repetidamente le consigue lo que desea. Al llamar varias veces al readLines, se leen las siguientes líneas n de la conexión. En el código R:

stop = FALSE 
f = file("/tmp/test.txt", "r") 
while(!stop) { 
    next_line = readLines(f, n = 1) 
    ## Insert some if statement logic here 
    if(length(next_line) == 0) { 
    stop = TRUE 
    close(f) 
    } 
} 

Comentarios adicionales:

• R tiene una forma interna de tratamiento de la entrada estándar como archivo: stdin(). Sugiero que use esto en lugar de usar pipe('cat /dev/stdin'). Esto probablemente lo hace más robusto, y definitivamente más multiplataforma.
• Inicializas Mydata al principio y sigues creciendo usando rbind. Si el número de líneas que rbind aumenta, esto se volverá realmente lento. Esto tiene que ver con el hecho de que cuando el objeto crece, el sistema operativo necesita encontrar una nueva ubicación de memoria para él, lo que termina tomando mucho de tiempo. Mejor es preasignar MyData, o usar aplicar bucles de estilo.