Generando indicadores en cuadros de datos grandes

Question

El objetivo es crear indicadores para una variable de factor/cadena en un marco de datos. Ese dataframe tiene filas de> 2 mm y ejecuta R en Windows, no tengo la opción de usar plyr con .parallel = T. Así que estoy tomando la ruta "divide y vencerás" con plyr y reshape2.

Correr carreras de fusión y fundido fuera de la memoria, y el uso de

ddply(idata.frame(items) , c("ID") , function(x){ 
     ( colSums(model.matrix(~ x$element - 1)) > 0 ) 
} , .progress="text")  

o

ddply(idata.frame(items) , c("ID") , function(x){ 
      ( elements %in% x$element ) 
    } , .progress="text") 

toma un tiempo. El enfoque más rápido es la llamada a tapply a continuación. ¿Ves una forma de acelerar esto? La instrucción% en% se ejecuta más rápido que la llamada model.matrix. Gracias.

set.seed(123) 

dd <- data.frame(
    id = sample(1:5, size=10 , replace=T) , 
    prd = letters[sample(1:5, size=10 , replace=T)] 
) 

prds <- unique(dd$prd) 

tapply(dd$prd , dd$id , function(x) prds %in% x) 

Answer 1

Para este problema, los paquetes bigmemory y bigtabulate podrían ser sus amigos. Aquí es un ejemplo un poco más ambicioso:

library(bigmemory) 
library(bigtabulate) 

set.seed(123) 

dd <- data.frame(
    id = sample(1:15, size=2e6 , replace=T), 
    prd = letters[sample(1:15, size=2e6 , replace=T)] 
) 

prds <- unique(dd$prd) 

benchmark(
bigtable(dd,c(1,2))>0, 
table(dd[,1],dd[,2])>0, 
xtabs(~id+prd,data=dd)>0, 
tapply(dd$prd , dd$id , function(x) prds %in% x) 
) 

Y los resultados de la evaluación comparativa (estoy aprendiendo cosas nuevas todo el tiempo):

          test replications elapsed relative user.self sys.self user.child sys.child 
1      bigtable(dd, c(1, 2)) > 0   100 54.401 1.000000 51.759 3.817   0   0 
2     table(dd[, 1], dd[, 2]) > 0   100 112.361 2.065422 107.526 6.614   0   0 
4 tapply(dd$prd, dd$id, function(x) prds %in% x)   100 178.308 3.277660 166.544 13.275   0   0 
3    xtabs(~id + prd, data = dd) > 0   100 229.435 4.217478 217.014 16.660   0   0 

Y que muestra bigtable ganar por una cantidad considerable. Los resultados son más o menos que todos los pds están en todos los ID, pero vea ?bigtable para obtener detalles sobre el formato de los resultados.

Answer 2

Parece que el uso de la función %in% me parece retroactivo. Y si desea un resultado verdadero/falso para cada fila de datos, debe usar% en% como operación vectorial o ave. Aunque no es necesario aquí, es posible que desee utilizarlo si hubiera una función más compleja que deba aplicarse a cada elemento.

set.seed(123) 

dd <- data.frame(
    id = sample(1:5, size=10 , replace=T) , 
    prd = letters[sample(1:5, size=10 , replace=T)] 
) 

prds <- unique(dd$prd) 
target.prds <- prds[1:2] 
dd$prd.in.trgt <- with(dd, prd %in% target.prds) 

Answer 3

puedes decir un poco más de cómo el problema se escala en términos de número de niveles, números de identificaciones, etc. (si se mantiene el número de niveles fijos, entonces para el número suficiente de individuos matriz de indicadores que 'la computación se acercará a todos los TRUE/all 1 ...)? Yo esperaba que xtabs sería más rápido, pero no es un ejemplo de este tamaño ...

library(rbenchmark) 
benchmark(
      tapply(dd$prd , dd$id , function(x) prds %in% x), 
      xtabs(~id+prd,data=dd)>0) 

    test  replications elapsed relative 
1 tapply(...)    100 0.053 1.000000 
2 xtabs(...) > 0   100 0.120 2.264151