¿Cómo puedo leer múltiples archivos de múltiples directorios en R para procesarlos?

Question

Estoy ejecutando un estudio de simulación y necesito procesar y guardar los resultados de varios archivos de texto. Tengo los datos organizados de tal manera que hay subdirectorios y dentro de cada subdirectorio, necesito procesar y obtener resultados individuales para 1000 archivos de datos. Esto es muy fácil de hacer en SAS usando macros. Sin embargo, soy nuevo en R y no puedo entender cómo hacerlo. Debajo está lo que estoy intentando lograr.

DATA Folder-> DC1 -> DC1R1.txt ... DC1R1000.txt 
       DC2 -> DC2R1.txt ... DC2R1000.txt 

¡Cualquier ayuda sería muy apreciada!

Answer 1

no estoy cerca de una computadora con R en este momento, pero leer la ayuda para las funciones relacionadas con los archivos:

La función dir aparecerá una lista de archivos y directorios. Tiene un argumento recursivo. list.files es un alias para dir. La función file.info le dirá (entre otras cosas) si una ruta es un directorio y file.path combinará partes de ruta.

Las funciones basename y dirname también pueden ser útiles.

Tenga en cuenta que todas estas funciones están vectorizadas.

EDITAR Ahora en un ordenador, así que aquí está un ejemplo:

# Make a function to process each file 
processFile <- function(f) { 
    df <- read.csv(f) 
    # ...and do stuff... 
    file.info(f)$size # dummy result 
} 

# Find all .csv files 
files <- dir("/foo/bar/", recursive=TRUE, full.names=TRUE, pattern="\\.csv$") 

# Apply the function to all files. 
result <- sapply(files, processFile) 

Answer 2

Puede utilizar la función de Perl glob() para obtener una lista de archivos y enviarlo a R utilizando, por ejemplo, la interfaz RSPerl 's.

Answer 3

Si necesita ejecutar el mismo análisis en cada uno de los archivos, puede acceder a ellos de una vez con list.files(recursive = T). Esto supone que ya ha establecido su directorio de trabajo en Data Folder. El recursive = T enumera todos los archivos dentro de los subdirectorios también.

Answer 4

filenames <- list.files("path/to/files", recursive=TRUE) Esto le dará todos los archivos que residen en una carpeta y subcarpetas debajo de ella.