Test A/B
Un Test A/B (o Test dei cesti o split-run testing), nel web analytics, è un esperimento controllato con due varianti, A e B.[1] [2]
È una forma di test di verifica d'ipotesi o "test di ipotesi a 2 campioni" nel campo della statistica. Nel web design, in particolare nella user experience design, l'obiettivo di questo test è di identificare i cambiamenti delle pagine web che incrementano o massimizzano il risultato di un interesse (per esempio: click-through rate per un banner pubblicitario). Formalmente la pagina web attuale è associata a un'Ipotesi nulla.
Il test A/B è un modo di confrontare due versioni di una singola variabile per testare la risposta del soggetto rispetto alla variabile A o B e determinare quale risulti la più efficace[3].
Nella statistica multivariata, un test multinomiale è simile a un test A/B, ma verifica più di due versioni allo stesso tempo o usa più controlli. I test A/B semplici non sono validi per situazioni osservazionali, quasi-sperimentali o situazioni non sperimentali, come in dati di una indagine, dati offline, e altri fenomeni più complessi.
Test statistici comuni modifica
| Distribuzione assunta | Caso d'esempio | Test Standard | Test alternativo |
|---|---|---|---|
| Gaussiana | Ricavo medio per utente pagante | Test di Welch (Unpaired t–test) | Test t di Student |
| Binomiale | click-through rate | Test esatto di Fisher | Test di Barnard |
| Poisson | Transazioni per Utente pagante | E-test[4] | C-test |
| Multinomiale | Numero di ogni prodotto acquistato | Test chi quadrato |
Note modifica
- ^ (EN) Claude Sammut, Webb Geoff, Roger Longbotham, Ron Kohavi, Online Controlled Experiments and A/B Tests (PDF), in Encyclopedia of Machine Learning and Data Mining, Springer, 2017.
- ^ (EN) Ron Kohavi, Thomke Stefan, The Surprising Power of Online Experiments, in Harvard Business Review, settembre 2017, pp. 74-82.
- ^ (EN) The ABCs of A/B Testing - Pardot, su Pardot. URL consultato il 21 febbraio 2016.
- ^ (EN) K. Krishnamoorthy, Thomson Jessica, A more powerful test for comparing two Poisson means, in Journal of Statistical Planning and Inference, vol. 119, 2004, p. 23, DOI:10.1016/S0378-3758(02)00408-1.
