cómo evitar bucles

Question

Hola a todos, soy nuevo a R.

Tengo dos archivos de datos de panel, con columnas "id", "fecha" y "ret"

archivo de A tiene una muchos más datos que el archivo B, pero estoy trabajando principalmente con datos de archivo B.

La combinación de "id" y "date" es un identificador único.

¿Hay alguna manera elegent de buscar cada uno (id, fecha) en B, necesito obtener los últimos 10 días ret del archivo A, y almacenarlos de nuevo en B?

mi manera ingenua de hacerlo es a lazo para todas las filas de B,

for i in 1:length(B) { 
    B$past10d[i] <- prod(1+A$ret[which(A$id == B$id[i] & A$date > B$date[i]-10 & A$date < B$date[i])])-1 
} 

pero los bucles de toma para siempre.

Realmente aprecio sus pensamientos.

Muchas gracias.

Answer 1

¿Es esto más rápido? (Estoy asumiendo que la combinación de B $ id y la fecha B $ es un identificador único no replicado en cualquier lugar - implícito en su código)

B$idDate <- factor(B$id):factor(B$date) 
B$past10 <- sapply(B$idDate, function(x){with(B[B$idDate == x,], 
    prod(1+A$ret[A$id == id & A$date > date-10 & A$date < date])-1)}) 

Answer 2

¿Usted intentó fusionar??

"Combinar dos tramas de datos por columnas comunes o nombres de las filas, o hacer otras versiones de base de datos de operaciones de combinación."

Además Es mejor utilizar una base de datos pequeña local de MySQL/PostgreSQL (RMySQL/RPostgreSQL) si continuamente compuestos deportivos PK o cualquier otro como identificadores únicos. Para mí, la reorganización de datos SQL y luego el uso de data.frames desde la vista es mucho más fácil que el bucle.

Answer 3

Si no tiene datos que se repliquen en A y B, entonces rbind es la solución más simple.

#Sample data 
A <- data.frame(
    id = rep(letters[1:3], each = 13), 
    date = Sys.Date() + -12:0, 
    ret = runif(39) 
) 

B <- data.frame(
    id = rep(letters[5:6], each = 5), 
    date = Sys.Date() + -4:0, 
    ret = runif(10) 
) 

#Only take the last ten days from A 
A_past_10_days <- A[A$date > Sys.Date() - 10,] 

#Bind by rows 
rbind(A_past_10_days, B) 

Answer 4

En general, debe evitar el bucle en R. Es mucho más rápido si su código opera en vectores.

Utilizaría la fusión, como lo sugiere ran2. Puede configurar all.x = T (o all.y o all) para obtener todas las filas de uno (u otro o ambos) marcos de datos. Esto es rápido y, por lo general, resolverá qué campos coincidir por sí mismo. De lo contrario, deberá especificar by.x (y by.y o by) como campo de búsqueda. Por el sonido de la misma, puede que necesite crear este campo usted mismo (según el comentario de John).

Puede filtrar por fecha.

Answer 5

Creo que la clave es vectorizar y usar el operador %in% para subconjunto del marco de datos A. Y, lo sé, los precios no son números aleatorios, pero no quería codificar una caminata aleatoria ... Creé un índice de fecha de stock usando paste, pero estoy seguro de que podría usar el índice de pdata.frame en el plm biblioteca, que es la mejor que he encontrado para los datos del panel.

A <- data.frame(stock=rep(1:10, each=100), date=rep(Sys.Date()-99:0, 10), price=rnorm(1000)) 
B <- A[seq(from=100, to=1000, by=100), ] 
A <- cbind(paste(A$stock, A$date, sep="-"), A) 
B <- cbind(paste(B$stock, B$date, sep="-"), B) 
colnames(A) <- colnames(B) <- c("index", "stock", "date", "price") 
index <- which(A[, 1] %in% B[, 1]) 
returns <- (A$price[index] - A$price[index-10])/A$price[index-10] 
B <- cbind(B, returns) 

Answer 6

Dado que usted está teniendo problemas de memoria, tal vez disminuyendo Un primero podría ayudar. Primero, deshazte de los ids extraños.

A <- A[A$id %in% B$id,] 

Reducir el conjunto de datos completamente todavía quiere tomar más memoria. No es posible sin almacenar algunas variables. Sin embargo, podemos deshacernos de muchos de ellos, espero reducir cada fecha por debajo de nuestro mínimo absoluto y por encima de nuestro máximo absoluto.

A <- A[A$date > (min(B$date) - 10) & A$date <= max(B$date),] 

Por supuesto, al no calificar esta por id tenemos no conseguir la versión más pequeña de una posible, pero es de esperar que es lo suficientemente pequeño.

Ahora ejecuta el código que propuso por primera vez y ver si todavía tiene un error de memoria

B$idDate <- factor(B$id):factor(B$date) 
B$past10 <- sapply(B$idDate, function(x){with(B[B$idDate == x,], 
    prod(1+A$ret[A$id == id & A$date > date-10 & A$date < date])-1)}) 

Answer 7

library(data.table) 
#create data 
A <- data.table(id=rep(1:10, each=40000), date=rep(Sys.Date()-99:0, 4000), ret=rnorm(400000)) 
B <- data.table(id=rep(1:5, each=10), date=rep(Sys.Date()-99:0), ret=rnorm(50)) 

#find dates to compare against 
n <- NROW(B) 
B_long <- B[,.(id = rep(id,each=10),date = rep(date,each=10))] 
s <- rep(-10:-1,n) 
B_long[,date:=date + s] 

#information in one column 
B_long$com <- as.numeric(paste0(B_long$id,as.numeric(B$date))) 
A$com <- as.numeric(paste0(A$id,as.numeric(A$date))) 

#compare 
setkey(A,com) 
X <- A[com %in% B_long$com,] 

Esta respuesta se basa en respuesta Richards, pero es más específico a la pregunta.

La idea clave es crear un vector de combinaciones de fechas de id para comparar. Esto sucede en el segundo bloque de código.

Mi solución utiliza el paquete data.table pero con algunos cambios de sintaxis debería funcionar con un data.frame. Pero el uso del paquete data.table tiene la ventaja de keycolumns.

Si todavía tiene problemas para realizar la vinculación de este enfoque con la segunda respuesta de Juan y primera cosecha A.