Prueba A/B de conversión
Compara dos tasas de conversión: diferencia, intervalo, significación y efecto mínimo detectable.
¿La nueva versión de la página convierte más que la actual, y el experimento tenía tamaño suficiente para detectarlo?
Visitas sintéticas: cada visitante convierte con la tasa real de su variante.
Controles
Ficha del modelo
Las siete preguntas que todo modelo de la biblioteca debe responder antes de publicarse.
- ¿La nueva versión de la página convierte más que la actual, y el experimento tenía tamaño suficiente para detectarlo?
- Visitantes y conversiones de cada variante, asignados al azar.
- Asignación aleatoria.
- Visitantes independientes.
- Tamaño y duración fijados antes de empezar, sin mirar resultados a mitad.
- Tasas de cada variante y diferencia con IC del 95 %.
- p-valor.
- Efecto mínimo detectable con el 80 % de potencia.
- El IC de la diferencia; con tasas bajas y pocos visitantes es ancho aunque el p-valor sea pequeño.
- Con diferencia real nula, la prueba rechaza en torno al 5 % de las semillas.
- Parar el experimento cuando sale significativo (el p-valor pierde su significado).
- Muchas métricas comparadas a la vez sin corrección.
- Efecto novedad: la variante gana al principio y se desinfla.
- Kohavi, R., Tang, D. y Xu, Y. (2020). Trustworthy Online Controlled Experiments.