Intercalar Quantile/Mediana/2D en Python

Question

conoce una solución rápida/elegante de Python/Scipy/Numpy para el siguiente problema: Tiene un conjunto de coordenadas x, y con valores asociados w (todas las matrices 1D). Ahora bin xey en una grilla 2D (tamaño BINSxBINS) y calcule los cuantiles (como la mediana) de los valores w para cada bin, lo que al final debe dar como resultado una matriz BINSxBINS 2D con los cuantiles requeridos.

Esto es fácil de hacer con algunos bucles anidados, pero estoy seguro de que hay una solución más elegante.

Gracias, Marcos

Answer 1

Esto es lo que me ocurrió, espero que sea útil. No es necesariamente más limpio o mejor que usar un bucle, pero tal vez te ayude a comenzar algo mejor.

import numpy as np 
bins_x, bins_y = 1., 1. 
x = np.array([1,1,2,2,3,3,3]) 
y = np.array([1,1,2,2,3,3,3]) 
w = np.array([1,2,3,4,5,6,7], 'float') 

# You can get a bin number for each point like this 
x = (x // bins_x).astype('int') 
y = (y // bins_y).astype('int') 
shape = [x.max()+1, y.max()+1] 
bin = np.ravel_multi_index([x, y], shape) 

# You could get the mean by doing something like: 
mean = np.bincount(bin, w)/np.bincount(bin) 

# Median is a bit harder 
order = bin.argsort() 
bin = bin[order] 
w = w[order] 
edges = (bin[1:] != bin[:-1]).nonzero()[0] + 1 
med_index = (np.r_[0, edges] + np.r_[edges, len(w)]) // 2 
median = w[med_index] 

# But that's not quite right, so maybe 
median2 = [np.median(i) for i in np.split(w, edges)] 

también echar un vistazo a numpy.histogram2d

Answer 2

gracias mucho por su código. Sobre la base de que he encontrado la siguiente solución de mi problema (sólo una pequeña modificación de su código):

import numpy as np 
BINS=10 
boxsize=10.0 
bins_x, bins_y = boxsize/BINS, boxsize/BINS 
x = np.array([0,0,0,1,1,1,2,2,2,3,3,3]) 
y = np.array([0,0,0,1,1,1,2,2,2,3,3,3]) 
w = np.array([0,1,2,0,1,2,0,1,2,0,1,2], 'float') 

# You can get a bin number for each point like this 
x = (x // bins_x).astype('int') 
y = (y // bins_y).astype('int') 
shape = [BINS, BINS] 
bin = np.ravel_multi_index([x, y], shape) 


# Median 
order = bin.argsort() 
bin = bin[order] 
w = w[order] 
edges = (bin[1:] != bin[:-1]).nonzero()[0] + 1 
median = [np.median(i) for i in np.split(w, edges)] 

#construct BINSxBINS matrix with median values 
binvals=np.unique(bin) 
medvals=np.zeros([BINS*BINS]) 
medvals[binvals]=median 
medvals=medvals.reshape([BINS,BINS]) 

print medvals 

Answer 3

Con numpy/SciPy dice así:

import numpy as np 
    import scipy.stats as stats 

    x = np.random.uniform(0,200,100) 
    y = np.random.uniform(0,200,100) 
    w = np.random.uniform(1,10,100) 

    h = np.histogram2d(x,y,bins=[10,10], weights=w,range=[[0,200],[0,200]]) 
    hist, bins_x, bins_y = h 
    q = stats.mstats.mquantiles(hist,prob=[0.25, 0.5, 0.75]) 

    >>> q.round(2) 
    array([ 512.8 , 555.41, 592.73]) 

    q1 = np.where(hist<q[0],1,0) 
    q2 = np.where(np.logical_and(q[0]<=hist,hist<q[1]),2,0) 
    q3 = np.where(np.logical_and(q[1]<=hist,hist<=q[2]),3,0) 
    q4 = np.where(q[2]<hist,4,0) 

    >>>q1 + q2 + q3 + q4 
    array([[4, 3, 4, 3, 1, 1, 4, 3, 1, 2], 
    [1, 1, 4, 4, 2, 3, 1, 3, 3, 3], 
    [2, 3, 3, 2, 2, 2, 3, 2, 4, 2], 
    [2, 2, 3, 3, 3, 1, 2, 2, 1, 4], 
    [1, 3, 1, 4, 2, 1, 3, 1, 1, 3], 
    [4, 2, 2, 1, 2, 1, 3, 2, 1, 1], 
    [4, 1, 1, 3, 1, 3, 4, 3, 2, 1], 
    [4, 3, 1, 4, 4, 4, 1, 1, 2, 4], 
    [2, 4, 4, 4, 3, 4, 2, 2, 2, 4], 
    [2, 2, 4, 4, 3, 3, 1, 3, 4, 4]]) 

prob = [0,25, 0,5 , 0.75] es el valor predeterminado para las configuraciones de cuantiles, puede cambiarlo o dejarlo a un lado.

Answer 4

Estoy tratando de hacer esto por mí mismo y parece que quieres el comando "scipy.stats.binned_statistic_2d" para que puedas encontrar la devación media, mediana, estándar o cualquier función definida para el tercer parámetro dado a los contenedores .

Me doy cuenta de que esta pregunta ya ha sido respondida, pero creo que esta es una buena solución integrada.