Tamaño de muestra y potencia
Cuántas observaciones hacen falta para detectar un efecto dado con la fiabilidad deseada.
¿Cuántos clientes hay que incluir en el experimento para detectar una mejora de la tasa de conversión de 3 % a 3,5 %?
Cálculo analítico, verificado con 400 experimentos simulados con el tamaño obtenido.
Controles
Ficha del modelo
Las siete preguntas que todo modelo de la biblioteca debe responder antes de publicarse.
- ¿Cuántos clientes hay que incluir en el experimento para detectar una mejora de la tasa de conversión de 3 % a 3,5 %?
- Valor actual de la métrica.
- Efecto mínimo que merece la pena detectar.
- Nivel de significación y potencia deseados.
- Aproximación normal.
- Dos grupos del mismo tamaño.
- Contraste bilateral.
- Tamaño por grupo para proporciones y para medias.
- Curva de potencia según el tamaño.
- El cálculo depende de la variabilidad supuesta; si es mayor, hace falta más muestra.
- Simulando el experimento con el tamaño calculado, la proporción de rechazos se acerca a la potencia pedida.
- Elegir el efecto mínimo según la muestra disponible en lugar de según lo que importa al negocio.
- Olvidar que la muestra útil es menor si hay abandonos.
- Cohen (1988). Fleiss, J. L., Levin, B. y Paik, M. C. (2003). Statistical Methods for Rates and Proportions, 3.ª ed., cap. 4.