Cómo calcular las estadísticas "t-test" con numpy

Question

Estoy buscando generar algunas estadísticas sobre un modelo que creé en python. Me gustaría generar el t-test en él, pero me preguntaba si había una manera fácil de hacer esto con numpy/scipy. ¿Hay alguna buena explicación?

Por ejemplo, tengo tres conjuntos de datos relacionados con este aspecto:

[55.0, 55.0, 47.0, 47.0, 55.0, 55.0, 55.0, 63.0] 

Ahora, me gustaría hacer la prueba t de estudiante en ellos.

Answer 1

En un paquete scipy.stats hay pocas funciones de ttest_.... Véase el ejemplo de here:

>>> print 't-statistic = %6.3f pvalue = %6.4f' % stats.ttest_1samp(x, m) 
t-statistic = 0.391 pvalue = 0.6955 

Answer 2

vez que obtenga su valor t, usted puede preguntarse cómo interpretarlo como una probabilidad - que hice. Aquí hay una función que escribí para ayudar con eso.

Se basa en la información que obtuve de http://www.vassarstats.net/rsig.html y http://en.wikipedia.org/wiki/Student%27s_t_distribution. respuesta

# Given (possibly random) variables, X and Y, and a correlation direction, 
# returns: 
# (r, p), 
# where r is the Pearson correlation coefficient, and p is the probability 
# of getting the observed values if there is actually no correlation in the given 
# direction. 
# 
# direction: 
# if positive, p is the probability of getting the observed result when there is no 
#  positive correlation in the normally distributed full populations sampled by X 
#  and Y 
# if negative, p is the probability of getting the observed result, when there is no 
#  negative correlation 
# if 0, p is the probability of getting your result, if your hypothesis is true that 
# there is no correlation in either direction 
def probabilityOfResult(X, Y, direction=0): 
    x = len(X) 
    if x != len(Y): 
     raise ValueError("variables not same len: " + str(x) + ", and " + \ 
         str(len(Y))) 
    if x < 6: 
     raise ValueError("must have at least 6 samples, but have " + str(x)) 
    (corr, prb_2_tail) = stats.pearsonr(X, Y) 

    if not direction: 
     return (corr, prb_2_tail) 

    prb_1_tail = prb_2_tail/2 
    if corr * direction > 0: 
     return (corr, prb_1_tail) 

    return (corr, 1 - prb_1_tail) 

Answer 3

de van utilizando scipy es exactamente correcto y el uso de las funciones scipy.stats.ttest_* es muy conveniente.

Pero llegué a esta página buscando una solución con numpy puro, como se indica en el encabezado, para evitar la dependencia scipy. Con este fin, permítanme señalar el ejemplo dado aquí: https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.standard_t.html

El problema principal es que numpy no tiene funciones de distribución acumulativa, por lo tanto, mi conclusión es que realmente debería usar scipy. De todos modos, usando numpy es posible:

De la pregunta original supongo que quiere comparar sus conjuntos de datos y juzgar con una prueba t si hay una desviación significativa? Además, ¿las muestras están emparejadas? (Ver https://en.wikipedia.org/wiki/Student%27s_t-test#Unpaired_and_paired_two-sample_t-tests) En ese caso, se puede calcular el t y el valor p de esta manera:

import numpy as np 
sample1 = np.array([55.0, 55.0, 47.0, 47.0, 55.0, 55.0, 55.0, 63.0]) 
sample2 = np.array([54.0, 56.0, 48.0, 46.0, 56.0, 56.0, 55.0, 62.0]) 
# paired sample -> the difference has mean 0 
difference = sample1 - sample2 
# the t-value is easily computed with numpy 
t = (np.mean(difference))/(difference.std(ddof=1)/np.sqrt(len(difference))) 
# unfortunately, numpy does not have a build in CDF 
# here is a ridiculous work-around integrating by sampling 
s = np.random.standard_t(len(difference), size=100000) 
p = np.sum(s<t)/float(len(s)) 
# using a two-sided test 
print("There is a {} % probability that the paired samples stem from distributions with the same means.".format(2 * min(p, 1 - p) * 100)) 

Esto imprimirá There is a 73.028 % probability that the paired samples stem from distributions with the same means. Puesto que esto es muy por encima de cualquier intervalo de confianza en su sano juicio (por ejemplo 5%), que debiera no concluir nada para el caso concreto.