Calculadora de pruebas AB

Utiliza la prueba A/B para calcular la significación estadística.

Calcula la significación estadística.
Juega con los controles y comprende mejor cómo un nivel de confianza más bajo aumentará la potencia o cómo un aumento del tamaño de la prueba puede hacer que incluso una pequeña diferencia en la conversión sea significativa.
¿Análisis previo a la prueba o evaluación posterior a la prueba?
Datos de la prueba
Visitantes A
Conversiones A
Visitantes B
Conversiones B
Ajustes
Hipótesis ( i )
¿Quieres asegurarte de que la tasa de conversión de B sea menor? Si eliges la opción unilateral, no se puede hacer una afirmación concluyente si el índice de conversión de B es inferior al de A.
Confianza ( i )
El nivel de confianza que puedes tener en que tus resultados no se deben al azar o a un error de muestreo.
El resultado de la prueba no es significativo.
El índice de conversión observado de la variante B(2,06%) fue un 2,55% superior al índice de conversión de la variante A(2,01%). Se puede estar seguro al 95% de que este resultado es consecuencia de los cambios realizados y no fruto del azar o de un error de muestreo.

Posible alerta SRM
Suponiendo que pretendías tener una distribución 50% / 50%, una comprobación del Desajuste de la Relación de Muestreo (SRM) indica que puede haber un problema con tu distribución.
Control de la tasa de conversión
Conversiones A / Visitantes A
Tasa de conversión B
Conversiones B / Visitantes B
Elevación relativa en Conv. Tasa
CRB -CRA /CRA
Potencia observada
 
valor p
 
Puntuación Z
( CRB - CRA ) / SEdiferencia
Error típico A
( CRA * (1-CRA ) / VisitantesA)1/2
Error típico B
( CRB * (1-CRB ) / VisitantesB)1/2
Std. Error de diferencia
Diferencia SE = ( SEA2 + SEB2 )1/2

Descubre IdSurvey

El software más popular entre los profesionales.

PREGUNTAS FRECUENTES

¿Para qué sirve una prueba A/B?

Las pruebas A/B, también conocidas como pruebas divididas, son un método que consiste en comparar dos versiones de una página web, un anuncio u otro elemento de marketing para determinar qué versión es más eficaz. En una prueba A/B, se muestran simultáneamente dos versiones de una página web a diferentes segmentos de visitantes del sitio, actuando una versión como control (original) y la otra como variación (prueba). A continuación, se compara el rendimiento de cada versión en función de métricas específicas, como las tasas de conversión o los porcentajes de clics, para determinar qué versión es más eficaz.

Por ejemplo, un sitio de comercio electrónico puede crear dos versiones de una página de producto, una con un botón azul «Comprar ahora» y otra con un botón verde «Comprar ahora». A los visitantes del sitio se les asigna aleatoriamente una de las dos versiones y se controla su comportamiento. Si la versión con el botón verde genera más ventas, se puede concluir que el botón verde es más eficaz para estimular a los visitantes a realizar una compra.

Las pruebas A/B pueden utilizarse para una amplia gama de actividades de marketing, como campañas de correo electrónico, páginas de destino, estrategias de precios y diseño de productos. Es una forma eficaz de optimizar los esfuerzos de marketing y mejorar los índices de conversión.

¿Qué es la significación estadística?

La significación estadística es una medida de la probabilidad de que una diferencia observada entre dos grupos o dos condiciones sea real y no se deba al azar o a un error de muestreo. En otras palabras, la significación estadística indica si un resultado obtenido en un experimento es estadísticamente significativo y puede generalizarse a la población de interés.

En el contexto de los experimentos de pruebas A/B, la significación estadística indica la probabilidad de que la diferencia entre el grupo de control y el grupo de prueba no se deba a un error de muestreo o al azar. Si un experimento tiene un nivel de significación del 95%, por ejemplo, se puede estar seguro en un 95% de que las diferencias observadas entre los dos grupos no se deben a un error de muestreo o al azar.

La significación estadística se utiliza habitualmente en los negocios para evaluar los efectos de un experimento sobre los índices de conversión de un sitio web o un anuncio. También se utiliza en las encuestas para garantizar que los resultados son representativos de la población de interés y que las diferencias observadas son estadísticamente significativas. En general, la significación estadística es una medida importante para evaluar la validez de los resultados obtenidos en un experimento o encuesta.

¿Cómo calcular la significación estadística?

Para calcular la significación estadística de un experimento, se pueden seguir los siguientes pasos:

  1. Formula una hipótesis nula (H0) y una hipótesis alternativa (HA). La hipótesis nula afirma que no existe diferencia o relación entre las variables de interés, mientras que la hipótesis alternativa afirma que existe una diferencia o relación verdadera.
  2. Elige un nivel de significación (α), normalmente fijado en el 5% o el 1%, que representa la probabilidad de cometer un error de tipo I (rechazar la hipótesis nula cuando en realidad es cierta).
  3. Selecciona una prueba estadística adecuada según la naturaleza de los datos y la hipótesis.
  4. Calcula el valor de la prueba estadística a partir de los datos observados y los supuestos realizados.
  5. Calcula el valor p asociado al valor de la prueba estadística. El valor p representa la probabilidad de obtener un valor de la prueba estadística al menos tan extremo como el observado, bajo la hipótesis nula.
  6. Compara el valor p con el nivel de significación α. Si el valor p es inferior a α, se puede rechazar la hipótesis nula y concluir que existe una diferencia o relación significativa entre las variables de interés. De lo contrario, no se puede rechazar la hipótesis nula y concluir que la diferencia o relación observada podría ser fruto del azar o de un error de muestreo.

En general, el cálculo de la significación estadística requiere conocimientos básicos de estadística y el uso de herramientas informáticas especializadas o calculadoras, sobre todo para las pruebas más complejas o los análisis multivariantes.

¿Cuál es la hipótesis nula?

La hipótesis nula afirma que no existe una diferencia estadísticamente significativa entre el índice de conversión del grupo de control y el índice de conversión del grupo de variación. En otras palabras, la hipótesis nula sugiere que cualquier diferencia entre los dos índices de conversión podría ser el resultado del azar o de un error de muestreo y que es probable que el índice de conversión de la variación sea similar al índice de conversión del control. La prueba estadística se utilizará para determinar si esta hipótesis nula puede rechazarse en favor de una hipótesis alternativa que sugiera que existe una diferencia real entre los dos índices de conversión.

¿Cuál es el valor p?

El p-valor, o valor p, es una medida de la probabilidad de obtener un resultado que sea al menos tan extremo como el observado, dado que la hipótesis nula es cierta. En otras palabras, el valor p indica la probabilidad de que una observación o efecto experimental se deba al azar o a un error de muestreo, y no a una diferencia o relación significativa entre las variables de interés.

En el contexto de una prueba A/B, el valor p se calcula para determinar si la variante y el control son estadísticamente diferentes. Si la hipótesis nula es que la variante y el control son iguales, entonces el valor p indica la probabilidad de que la diferencia entre las tasas de conversión observadas entre los dos grupos sea el resultado del azar o de un error de muestreo, en lugar de una verdadera diferencia entre los grupos.

Si el valor p es bajo (normalmente inferior a 0,05 o 0,01), entonces se puede rechazar la hipótesis nula a favor de la hipótesis alternativa que sugiere que existe una diferencia significativa entre los grupos. En otras palabras, el valor p bajo sugiere que la observación o el efecto experimental no puede explicarse por el azar o el error de muestreo, sino que probablemente sea el resultado de una diferencia verdadera entre los grupos. Por el contrario, si el valor p es alto, no se puede rechazar la hipótesis nula y se concluye que la diferencia entre los grupos podría ser fruto del azar o de un error de muestreo.

¿Qué es la potencia estadística de una prueba?

La potencia estadística de una prueba es la probabilidad de que la prueba detecte un efecto significativo, cuando en realidad existe una diferencia o relación real entre las variables sometidas a prueba. En otras palabras, la potencia estadística de una prueba indica la capacidad de la prueba para detectar una diferencia o relación significativa, cuando éstas existen realmente.

Por ejemplo, si la potencia estadística de una prueba es del 80%, esto significa que en 100 pruebas en las que exista una verdadera diferencia o relación entre las variables, unas 80 pruebas concluirán que existe un efecto significativo, mientras que las otras 20 pruebas pueden no detectar ninguna diferencia o relación, concluyendo erróneamente que las variables son iguales.

La potencia estadística depende de varios factores, como el tamaño del efecto, el tamaño de la muestra, el nivel de significación de la prueba (el valor p de referencia) y la varianza de los datos. En general, cuanto mayor sea la potencia estadística, mayor será la probabilidad de detectar una diferencia o relación verdadera entre las variables. Sin embargo, una potencia estadística elevada requiere una muestra suficientemente grande y un efecto lo bastante grande como para ser detectado con precisión.

Descubre IdSurvey

El software más popular entre los profesionales.