Los valores esperados en un test A/B son estimaciones estadísticas que representan lo que esperaríamos observar en cada grupo o variante de la prueba, bajo la suposición de que no hay una diferencia real entre esos grupos en términos de la variable que se está midiendo.
Estos valores son cruciales para realizar comparaciones estadísticas, especialmente en pruebas como el Chi-cuadrado, donde se contrastan los valores observados (los datos reales recopilados durante el experimento) contra estos valores esperados para determinar si las diferencias observadas son significativas o simplemente producto del azar.
El Cálculo de los Valores Esperados.
En un test A/B, los valores esperados se calculan generalmente bajo la hipótesis nula, que postula que no existe una diferencia significativa entre las variantes A y B en términos de la métrica evaluada (por ejemplo, la tasa de conversión). Los pasos para calcular estos valores son:
1. Sumar Totales:
Calcula el total de resultados (por ejemplo, número de conversiones y no conversiones) para cada variante, así como el total general de resultados en el experimento.
2. Distribuir Proporcionalmente:
Bajo la hipótesis nula, se espera que las proporciones de los resultados sean iguales en todas las variantes.
Por ejemplo, si el total de conversiones en el experimento es 100 y hay dos variantes que reciben el mismo tráfico, los valores esperados de conversiones para cada variante serían 50, asumiendo que no hay diferencia entre las variantes.
3. Fórmula para Valores Esperados:
Para una celda específica en una tabla de contingencia utilizada para un test A/B, el valor esperado se calcula con la fórmula:
Eij=total general(total de la fila i)×(total de la columna j)
donde i es el número de la fila, j es el número de la columna, Eij es el valor esperado para la celda en la fila i y columna j, «total de la fila i« es el total de resultados para la variante correspondiente a esa fila, y «total de la columna j« es el total de resultados para el tipo de resultado (por ejemplo, conversión o no conversión) correspondiente a esa columna.
La Importancia de los Valores Esperados.
Los valores esperados son fundamentales por varias razones:
– Comparación Estadística:
Proporcionan un punto de referencia para comparar contra los valores observados. Diferencias significativas entre los valores observados y esperados sugieren que una variante influye en la variable de resultado de manera que no se puede atribuir al azar.
– Validación de la Hipótesis Nula:
Son esenciales para tests estadísticos como el Chi-cuadrado, que evalúan la validez de la hipótesis nula. Si los valores observados se desvían significativamente de los esperados, podemos tener razones para rechazar la hipótesis nula.
– Imparcialidad en la Evaluación:
Al calcular los valores esperados basados en la distribución general de los datos, aseguramos que cualquier análisis sea justo y no esté sesgado por diferencias en el tamaño de las muestras o en las tasas de respuesta entre las variantes.
Ejemplo Práctico para entenderlo mejor.
Imagina que estás realizando un test A/B en un sitio web para comparar dos diseños de una página especifica.
Supón que ambos diseños reciben 1,000 visitas.
Si en total se observaron 200 conversiones en el experimento, bajo la hipótesis nula (que los diseños no afectan las conversiones), esperaríamos aproximadamente 100 conversiones por diseño si la conversión es uniforme.
Si uno de los diseños tuviera significativamente más o menos que este número esperado de conversiones, empezaríamos a cuestionar la hipótesis nula y considerar que el diseño podría tener un impacto real en la tasa de conversión.
Los valores esperados son esenciales en la metodología de testing, particularmente en tests A/B, para determinar si las diferencias observadas en los datos experimentales tienen importancia estadística o son resultado del azar.