¿Cómo llenar NA con la mediana?

Question

Datos de ejemplo:

set.seed(1) 
df <- data.frame(years=sort(rep(2005:2010, 12)), 
       months=1:12, 
       value=c(rnorm(60),NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA)) 

head(df) 
    years months  value 
1 2005  1 -0.6264538 
2 2005  2 0.1836433 
3 2005  3 -0.8356286 
4 2005  4 1.5952808 
5 2005  5 0.3295078 
6 2005  6 -0.8204684 

Dime por favor, cómo puedo reemplazar NA en df valor de $ a mediana de otros meses? "valor" debe contener la mediana del valor de todos los valores previos para el mismo mes. Es decir, si el mes actual es mayo, el "valor" debe contener el valor mediano de todos los valores anteriores del mes de mayo.

Answer 1

O con ave

df <- data.frame(years=sort(rep(2005:2010, 12)), 
months=1:12, 
value=c(rnorm(60),NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA)) 
df$value[is.na(df$value)] <- with(df, ave(value, months, 
    FUN = function(x) median(x, na.rm = TRUE)))[is.na(df$value)] 

---

Puesto que hay tantas respuestas vamos a ver que es más rápido.

plyr2 <- function(df){ 
    medDF <- ddply(df,.(months),summarize,median=median(value,na.rm=TRUE)) 
df$value[is.na(df$value)] <- medDF$median[match(df$months,medDF$months)][is.na(df$value)] 
    df 
} 
library(plyr) 
library(data.table) 
DT <- data.table(df) 
setkey(DT, months) 


benchmark(ave = df$value[is.na(df$value)] <- 
    with(df, ave(value, months, 
       FUN = function(x) median(x, na.rm = TRUE)))[is.na(df$value)], 
      tapply = df$value[61:72] <- 
      with(df, tapply(value, months, median, na.rm=TRUE)), 
      sapply = df[61:72, 3] <- sapply(split(df[1:60, 3], df[1:60, 2]), median), 
      plyr = ddply(df, .(months), transform, 
         value=ifelse(is.na(value), median(value, na.rm=TRUE), value)), 
      plyr2 = plyr2(df), 
      data.table = DT[,value := ifelse(is.na(value), median(value, na.rm=TRUE), value), by=months], 
      order = "elapsed") 
     test replications elapsed relative user.self sys.self user.child sys.child 
3  sapply   100 0.209 1.000000  0.196 0.000   0   0 
1  ave   100 0.260 1.244019  0.244 0.000   0   0 
6 data.table   100 0.271 1.296651  0.264 0.000   0   0 
2  tapply   100 0.271 1.296651  0.256 0.000   0   0 
5  plyr2   100 1.675 8.014354  1.612 0.004   0   0 
4  plyr   100 2.075 9.928230  2.004 0.000   0   0 

Hubiera apostado a que data.table fue el más rápido.

[Matthew Dowle] La tarea que se está programando aquí toma como máximo 0.02 segundos (2.075/100). data.table considera que es insignificante. Intente configurar replications en 1 y aumente el tamaño de los datos, en su lugar. O cronometrar el más rápido de 3 carreras también es una regla práctica común. Una discusión más detallada de estos enlaces:

• Evidence that data.table isn't always fastest
• puntos de referencia en Averaging column values for specific sections of data corresponding to other column values
• London R presentation, June 2012 (diapositiva 21 se dirigió "Otros")
• A transform by group benchmark in an extreme case

Answer 2

Esta es una manera de usar plyr, que no es muy bonito, pero creo que hace lo que quiere:

library("plyr") 

# Make a separate dataframe with month as first column and median as second: 
medDF <- ddply(df,.(months),summarize,median=median(value,na.rm=TRUE)) 

# Replace `NA` values in `df$value` with medians from the second data frame 
# match() here ensures that the medians are entered in the correct elements. 
df$value[is.na(df$value)] <- medDF$median[match(df$months,medDF$months)][is.na(df$value)] 

Answer 3

desea utilizar la función de prueba is.na:

df$value[is.na(df$value)] <- median(df$value, na.rm=TRUE) 

que dice para todos los valores donde df$value es NA, reemplácelo con el lado derecho. Es necesario la pieza na.rm=TRUE o de lo contrario la función median volverá NA

a hacer este mes a mes, hay muchas opciones, pero creo plyr tiene la sintaxis más simple:

library(plyr) 
ddply(df, 
     .(months), 
     transform, 
     value=ifelse(is.na(value), median(value, na.rm=TRUE), value)) 

también se puede utilizar data.table . esta es una opción especialmente buena si sus datos son grandes:

library(data.table) 
DT <- data.table(df) 
setkey(DT, months) 

DT[,value := ifelse(is.na(value), median(value, na.rm=TRUE), value), by=months] 

¡Hay muchas otras maneras, pero hay dos!

Answer 4

Siguiendo con base de R, también puede intentar lo siguiente:

medians = sapply(split(df[1:60, 3], df[1:60, 2]), median) 
df[61:72, 3] = medians 

Answer 5

Ésta es la solución más robusta que puedo pensar Asegura que los años se ordenan correctamente y calculará correctamente la mediana para todos los meses anteriores en los casos en que tenga varios años con valores perdidos.

# first, reshape your data so it is years by months: 
library(reshape2) 
tmp <- dcast(years ~ months, data=df) # convert data to years x months 
tmp <- tmp[order(tmp$years),]   # order years 
# now calculate the running median on each month 
library(caTools) 
# function to replace NA with rolling median 
tmpfun <- function(x) { 
    ifelse(is.na(x), runquantile(x, k=length(x), probs=0.5, align="right"), x) 
} 
# apply tmpfun to each column and convert back to data.frame 
tmpmed <- as.data.frame(lapply(tmp, tmpfun)) 
# reshape back to long and convert 'months' back to integer 
res <- melt(tmpmed, "years", variable.name="months") 
res$months <- as.integer(gsub("^X","",res$months)) 

Answer 6

Hay otra manera de hacerlo con dplyr.

Si desea reemplazar todas las columnas con su medio, hacer:

library(dplyr) 
df %>% 
    mutate_all(~ifelse(is.na(.), median(., na.rm = TRUE), .)) 

Si desea sustituir un subconjunto de columnas (como el "valor" en el ejemplo de la OP), hacer:

df %>% 
    mutate_at(vars(value), ~ifelse(is.na(.), median(., na.rm = TRUE), .))