Cálculo del rango percentil en MySQL

Question

Tengo una gran tabla de datos de medición en MySQL y necesito calcular el rango percentil para todos y cada uno de estos valores. Oracle parece tener una función llamada percent_rank pero no puedo encontrar nada similar para MySQL. Claro que podría simplemente usar fuerza bruta en Python, que utilizo para llenar la tabla, pero sospecho que sería bastante ineficiente porque una muestra podría tener 200,000 observaciones.

Answer 1

Esta es una respuesta relativamente fea, y me siento culpable de decirlo. Dicho esto, podría ayudarte con tu problema.

Una forma de determinar el porcentaje sería contar todas las filas y contar el número de filas que son mayores que el número que proporcionó. Puede calcular mayor o menor que y tomar el inverso según sea necesario.

Cree un índice de su número. total = select count (); less_equal = select count () donde value> indexed_number;

El porcentaje sería algo así como: less_equal/o total (Total - less_equal)/total de

Asegúrese de que ambos de ellos están utilizando el índice que ha creado. Si no lo son, ajústelos hasta que lo estén. La consulta de explicación debe tener "usar índice" en la columna de la derecha. En el caso del recuento selectivo (*) debería estar usando el índice para InnoDB y algo así como const para MyISAM. MyISAM conocerá este valor en cualquier momento sin tener que calcularlo.

Si necesita tener el porcentaje almacenado en la base de datos, puede utilizar la configuración de arriba para el rendimiento y luego calcular el valor de cada fila utilizando la segunda consulta como una selección interna. El primer valor de la consulta se puede establecer como una constante.

¿Le sirve de ayuda?

Jacob

Answer 2

no hay una manera fácil de hacer esto. ver http://rpbouman.blogspot.com/2008/07/calculating-nth-percentile-in-mysql.html

Answer 3

Para obtener el rango, yo diría que necesita para exterior (izquierda) se une a la mesa en sí algo como:

select t1.name, t1.value, count(distinct isnull(t2.value,0)) 
from table t1 
left join table t2 
on t1.value>t2.value 
group by t1.name, t1.value 

Para cada fila, se contar cuántas (si los hay) las filas de la misma tabla tienen un valor inferior.

Tenga en cuenta que estoy más familiarizado con sqlserver, por lo que la sintaxis podría no ser correcta. Además, es posible que los distintos no tengan el comportamiento correcto para lo que quieres lograr. Pero esa es la idea general.
Luego, para obtener el rango percentil real, primero tendrá que obtener el número de valores en una variable (o valores distintos según la convención que desea tomar) y calcular el rango percentil utilizando el rango real dado anteriormente.

Answer 4

Si está combinando su SQL con un lenguaje de procedimientos como PHP, puede hacer lo siguiente. Este ejemplo descompone los tiempos de exceso de bloque de vuelo en un aeropuerto, en sus percentiles. Utiliza la cláusula LIMIT x, y en MySQL en combinación con ORDER BY. No es muy bonito, pero hace el trabajo (lo siento luchado con el formato):

$startDt = "2011-01-01"; 
$endDt = "2011-02-28"; 
$arrPort= 'JFK'; 

$strSQL = "SELECT COUNT(*) as TotFlights FROM FIDS where depdt >= '$startDt' And depdt <= '$endDt' and ArrPort='$arrPort'"; 
if (!($queryResult = mysql_query($strSQL, $con))) { 
    echo $strSQL . " FAILED\n"; echo mysql_error(); 
    exit(0); 
} 
$totFlights=0; 
while($fltRow=mysql_fetch_array($queryResult)) { 
    echo "Total Flights into " . $arrPort . " = " . $fltRow['TotFlights']; 
    $totFlights = $fltRow['TotFlights']; 

    /* 1906 flights. Percentile 90 = int(0.9 * 1906). */ 
    for ($x = 1; $x<=10; $x++) { 
     $pctlPosn = $totFlights - intval(($x/10) * $totFlights); 
     echo "PCTL POSN for " . $x * 10 . " IS " . $pctlPosn . "\t"; 
     $pctlSQL = "SELECT (ablk-sblk) as ExcessBlk from FIDS where ArrPort='" . $arrPort . "' order by ExcessBlk DESC limit " . $pctlPosn . ",1;"; 
     if (!($query2Result = mysql_query($pctlSQL, $con))) { 
      echo $pctlSQL . " FAILED\n"; 
      echo mysql_error(); 
      exit(0); 
     } 
     while ($pctlRow = mysql_fetch_array($query2Result)) { 
      echo "Excess Block is :" . $pctlRow['ExcessBlk'] . "\n"; 
     } 
    } 
} 

Answer 5

Aquí es un enfoque diferente que no requiere de una combinación. En mi caso (una tabla con más de 15,000 filas), se ejecuta en aproximadamente 3 segundos. (El método JOIN toma un orden de magnitud más largo).

En la muestra, asumen que medida es la columna en la que está calculando el rango ciento, y Identificación es sólo un identificador de fila (no es obligatorio):

SELECT 
    id, 
    @prev := @curr as prev, 
    @curr := measure as curr, 
    @rank := IF(@prev > @curr, @rank+@ties, @rank) AS rank, 
    @ties := IF(@prev = @curr, @ties+1, 1) AS ties, 
    (1-@rank/@total) as percentrank 
FROM 
    mytable, 
    (SELECT 
     @curr := null, 
     @prev := null, 
     @rank := 0, 
     @ties := 1, 
     @total := count(*) from mytable where measure is not null 
    ) b 
WHERE 
    measure is not null 
ORDER BY 
    measure DESC 

de crédito para este método va a Shlomi Noach. Él escribe sobre ello en detalle aquí:

http://code.openark.org/blog/mysql/sql-ranking-without-self-join

He probado esto en MySQL y funciona muy bien; ninguna idea acerca de Oracle, SQLServer, etc.

Answer 6

SELECT 
    c.id, c.score, ROUND(((@rank - rank)/@rank) * 100, 2) AS percentile_rank 
FROM 
    (SELECT 
    *, 
     @prev:=@curr, 
     @curr:=a.score, 
     @rank:=IF(@prev = @curr, @rank, @rank + 1) AS rank 
    FROM 
     (SELECT id, score FROM mytable) AS a, 
     (SELECT @curr:= null, @prev:= null, @rank:= 0) AS b 
ORDER BY score DESC) AS c;