AB testing calculator

Utilizza l'A/B test per il calcolo della significatività statistica.

Calcola la significatività statistica.
Gioca con i controlli e ottieni una migliore comprensione di come un livello di confidenza più basso aumenterà la potenza o come un aumento della dimensione del test può rendere significativa anche una piccola differenza nella conversione!
Pre-test analisi o valutazione post-test?
Dati del test
Visitors A
Conversions A
Visitors B
Conversions B
Impostazioni
Ipotesi ( i )
Vuoi essere sicuro che il tasso di conversione di B sia inferiore? Se scegli l'opzione "One-sided", non si può fare alcuna affermazione conclusiva se il tasso di conversione di B è inferiore a quello di A.
Confidenza ( i )
Il livello di confidenza che si può avere che i propri risultati non siano dovuti al caso o all'errore di campionamento.
Il risultato del test non è significativo.
Il tasso di conversione osservato della variante B (2.06%) è stato sueriore del 2.55% rispetto al tasso di conversione della variante A (2.01%). Si può essere sicuri al 95% che questo risultato sia conseguenza dei cambiamenti apportati e non il risultato del caso o dell'errore di campionamento.

Possibile SRM alert
Presumendo che intendessi avere una divisione 50% / 50%, un controllo del Sample Ratio Mismatch (SRM) indica che potrebbe esserci un problema con la tua distribuzione.
Conversion Rate Control
Conversions A / Visitors A

            
Conversion Rate B
Conversions B / Visitors B

            
Relative uplift in Conv. Rate
CRB - CRA / CRA

            
Observed Power
 

            
p value
 

            
Z-score
( CRB - CRA ) / SEdifference

            
Standard error A
( CRA * (1-CRA ) / VisitorsA)1/2

            
Standard error B
( CRB * (1-CRB ) / VisitorsB)1/2

            
Std. Error of difference
SEdifference = ( SEA2 + SEB2 )1/2

            

Scopri IdSurvey

Il software più apprezzato dai professionisti.

FAQ

A cosa serve un A/B test?

L’A/B testing, noto anche come split testing, è un metodo per confrontare due versioni di una pagina web, di un annuncio pubblicitario o di un altro elemento di marketing al fine di determinare quale versione sia più efficace. In un test A/B, due versioni di una pagina web vengono mostrate contemporaneamente a diversi segmenti di visitatori del sito, con una versione che funge da controllo (originale) e l’altra come variazione (test). Le prestazioni di ciascuna versione vengono quindi confrontate sulla base di metriche specifiche, come tassi di conversione o tassi di clic, per stabilire quale versione sia più efficace.

Ad esempio, un sito di e-commerce potrebbe creare due versioni di una pagina di prodotto, una con un pulsante “Acquista ora” blu e l’altra con un pulsante “Acquista ora” verde. I visitatori del sito vengono assegnati casualmente a una delle due versioni e il loro comportamento viene monitorato. Se la versione con il pulsante verde genera più vendite, si può concludere che il pulsante verde sia più efficace nel stimolare i visitatori ad effettuare un acquisto.

L’A/B testing può essere utilizzato per una vasta gamma di attività di marketing, tra cui campagne e-mail, pagine di destinazione, strategie di prezzo e design del prodotto. È un modo efficace per ottimizzare gli sforzi di marketing e migliorare i tassi di conversione.

Cos'è la significatività statistica?

La significatività statistica è una misura di quanto sia probabile che una differenza osservata tra due gruppi o due condizioni sia reale e non dovuta al caso o all’errore di campionamento. In altre parole, la significatività statistica indica se un risultato ottenuto da un esperimento è significativo dal punto di vista statistico e se può essere generalizzato alla popolazione di interesse.

Nel contesto degli esperimenti A/B testing, la significatività statistica indica quanto è probabile che la differenza tra il gruppo di controllo e il gruppo di test non sia dovuta all’errore di campionamento o al caso. Se un esperimento ha un livello di significatività del 95%, ad esempio, si può essere sicuri al 95% che le differenze osservate tra i due gruppi non siano dovute all’errore di campionamento o al caso.

La significatività statistica viene comunemente utilizzata nel business per valutare gli effetti di un esperimento sui tassi di conversione di un sito web o di una pubblicità. Viene anche utilizzata nei sondaggi per assicurarsi che i risultati siano rappresentativi della popolazione di interesse e che le differenze osservate siano significative dal punto di vista statistico. In generale, la significatività statistica è una misura importante per valutare la validità dei risultati ottenuti da un esperimento o da un’indagine.

Come calcolare la significatività statistica?

Per calcolare la significatività statistica di un esperimento, si possono seguire i seguenti passaggi:

  1. Formulare un’ipotesi nulla (H0) e un’ipotesi alternativa (HA). L’ipotesi nulla afferma che non esiste alcuna differenza o relazione tra le variabili di interesse, mentre l’ipotesi alternativa afferma che esiste una vera differenza o relazione.

  2. Scegliere un livello di significatività (α), solitamente fissato al 5% o al 1%, che rappresenta la probabilità di commettere un errore di tipo I (rifiutare l’ipotesi nulla quando in realtà è vera).

  3. Selezionare un test statistico appropriato in base alla natura dei dati e dell’ipotesi.

  4. Calcolare il valore del test statistico a partire dai dati osservati e dalle ipotesi formulate.

  5. Calcolare il valore p associato al valore del test statistico. Il valore p rappresenta la probabilità di ottenere un valore del test statistico almeno tanto estremo quanto quello osservato, sotto l’ipotesi nulla.

  6. Confrontare il valore p con il livello di significatività α. Se il valore p è inferiore ad α, si può rifiutare l’ipotesi nulla e concludere che c’è una differenza o una relazione significativa tra le variabili di interesse. Altrimenti, non si può rifiutare l’ipotesi nulla e si conclude che la differenza o la relazione osservata potrebbe essere il risultato del caso o dell’errore di campionamento.

 

In generale, calcolare la significatività statistica richiede conoscenze di base di statistica e l’uso di strumenti software o calcolatrici specializzati, soprattutto per test più complessi o per analisi multivariate.

Cos'è l'ipotesi nulla?

L’ipotesi nulla afferma che non c’è differenza statistica significativa tra il tasso di conversione del gruppo di controllo e il tasso di conversione del gruppo di variazione. In altre parole, l’ipotesi nulla suggerisce che qualsiasi differenza tra i due tassi di conversione potrebbe essere il risultato del caso o dell’errore di campionamento e che il tasso di conversione della variazione è probabilmente simile al tasso di conversione del controllo. Il test statistico sarà utilizzato per determinare se questa ipotesi nulla può essere rifiutata in favore di un’ipotesi alternativa che suggerisce che ci sia una vera differenza tra i due tassi di conversione.

Cosa è il p-value?

Il p-value, o valore p, è una misura della probabilità di ottenere un risultato almeno tanto estremo quanto quello osservato, dato che l’ipotesi nulla è vera. In altre parole, il p-value indica quanto è probabile che un’osservazione o un effetto sperimentale siano stati causati dal caso o dall’errore di campionamento, piuttosto che da una differenza o una relazione significativa tra le variabili di interesse.

Nel contesto di un test A/B, il valore p è calcolato per determinare se la variante e il controllo sono statisticamente diversi. Se l’ipotesi nulla è che la variante e il controllo sono gli stessi, allora il p-value indica la probabilità che la differenza tra i tassi di conversione osservati tra i due gruppi sia il risultato del caso o dell’errore di campionamento, piuttosto che di una vera differenza tra i gruppi.

Se il p-value è basso (tipicamente inferiore a 0,05 o 0,01), allora si può rifiutare l’ipotesi nulla in favore dell’ipotesi alternativa che suggerisce che ci sia una differenza significativa tra i gruppi. In altre parole, il basso p-value suggerisce che l’osservazione o l’effetto sperimentale non può essere spiegato dal caso o dall’errore di campionamento, ma è probabilmente il risultato di una vera differenza tra i gruppi. Viceversa, se il p-value è alto, allora non si può rifiutare l’ipotesi nulla e si conclude che la differenza tra i gruppi potrebbe essere il risultato del caso o dell’errore di campionamento.

Cosa è la potenza statistica di un test?

La potenza statistica di un test è la probabilità che il test rilevi un effetto significativo, quando in realtà esiste un’effettiva differenza o relazione tra le variabili in esame. In altre parole, la potenza statistica di un test indica la capacità del test di rilevare una differenza o una relazione significativa, quando queste esistono veramente.

Per esempio, se la potenza statistica di un test è del 80%, significa che, in 100 test in cui c’è una vera differenza o relazione tra le variabili, circa 80 test concluderanno che c’è un effetto significativo, mentre gli altri 20 test potrebbero non rilevare alcuna differenza o relazione, erroneamente concludendo che le variabili sono uguali.

La potenza statistica dipende da vari fattori, tra cui la dimensione dell’effetto, la dimensione del campione, il livello di significatività del test (il valore p di riferimento), e la varianza dei dati. In generale, maggiore è la potenza statistica, maggiori sono le probabilità di rilevare una vera differenza o relazione tra le variabili. Tuttavia, una potenza statistica elevata richiede un campione sufficientemente grande e un effetto abbastanza grande da poter essere rilevato con precisione.

Scopri IdSurvey

Il software più apprezzato dai professionisti.