tamaño de muestra para A/B Fisher significado prueba

Question

Dados los resultados de una simple prueba de A/B ...

 A B 
clicked 8 60 
ignored 192 1940 

(es decir, una tasa de conversión de A 4% y B 3%)

... una prueba de Fisher en I con razón dice que no hay diferencia significativa

> fisher.test(data.frame(A=c(8,192), B=c(60,1940))) 
... 
p-value = 0.3933 
... 

Pero qué función está disponible en R para decirme cuánto necesito aumentar mi tamaño de la muestra para llegar a un valor de p de, por ejemplo 0.05?

¿Podría simplemente aumentar los valores A (en su proporción) hasta que llegue, pero tiene que haber una manera mejor? Quizás pwr.2p2n.test [1] es de alguna manera utilizable?

[1] http://rss.acs.unt.edu/Rdoc/library/pwr/html/pwr.2p2n.test.html

Answer 1

power.prop.test() debe hacer esto para usted. Para que las matemáticas funcionen, convertí tus datos "ignorados" en impresiones sumando tus columnas.

> power.prop.test(p1=8/200, p2=60/2000, power=0.8, sig.level=0.05) 

    Two-sample comparison of proportions power calculation 

       n = 5300.739 
      p1 = 0.04 
      p2 = 0.03 
     sig.level = 0.05 
      power = 0.8 
    alternative = two.sided 

NOTE: n is number in *each* group 

que da 5301, que es para cada grupo, por lo que su tamaño de la muestra debe ser 10600. Al restar el 2200 que ya se han ejecutado, que tienen 8400 "pruebas" para el final.

En este caso:

• sig.level es el mismo que el valor de p.
• power es la probabilidad de encontrar resultados significativos que existen dentro de su muestra. Esto es algo arbitrario, el 80% es una opción común. Tenga en cuenta que elegir 80% significa que el 20% del tiempo no encontrará significado cuando debería. Aumentar la potencia significa que necesitará un tamaño de muestra mayor para alcanzar el nivel de significancia deseado.

Si deseaba decidir cuánto tiempo más tardará en alcanzar el significado, divida 8400 por el número de impresiones por día. Eso puede ayudar a determinar si vale la pena continuar la prueba.

También puede usar esta función para determinar el tamaño de muestra requerido antes de que comience la prueba. Hay un bonito escrito que describe esto en el 37 Signals blog.

Esta es una función R nativa, por lo que no necesitará agregar ni cargar ningún paquete. Aparte de eso, no puedo decir qué tan similar es esto a pwr.p2pn.test().