Ehi Designer!
Accedi a risorse, consigli e aggiornamenti su UX Design, UX Research, Analisi Dati, CRO e molto altro.
L’A/B Testing è un’arte ed una scienza allo stesso tempo. Qui scoprirai i segreti dei grandi tester e come poter utilizzare le loro strategie per aumentare le prestazioni del tuo prodotto.
Test, test, test!
Ormai testare è diventato un mantra.
Nasce nell’ambito delle startup per poi diventare virale nel mondo dell’Adv. Adesso, l’A/B Testing si vuole prendere il mondo della UX Design.
Ormai tutti i designer sanno che testare il prodotto è un passo essenziale prima del suo rilascio all’utente.
Ma il testing non si ferma con il lancio del prodotto, deve essere costante fino a che il prodotto non diventi perfetto.
⚠️ Spoiler Alert: Il tuo prodotto non sarà mai perfetto! Quindi Testa! ⚠️
A breve tu stesso sarai in grado di fare A/B Testing, ecco cosa imparerai in questo Blog Post:
Ti avvertiamo: preparati a sorbirti una buona dosa di matematica e statistica.
Si, perché quando una persona si mette a fare A/B Test, deve prendere in considerazione il fatto che sta lavorando con i numeri.
Se sei uno di quelli che “la matematica non fa per me”, non ti devi preoccupare.
Abbiamo reso le cose chiare e coincise, andando dritti al punto, senza fare voli pindarici in costrutti teorici.
Tra poco ti renderai conto tu stesso.
Ma prima, un breve accenno al perchè l’A/B Testing è così importante.
Negli ultimi anni, nel mondo del web non si fa altro che parlare di testing, ottimizzazione e Conversion Rate.
Grazie all’avvento del Machine Learning nel mondo del Marketing e del Design, si possono fare un sacco di test ed analisi in tempi brevi e con grandissimi risultati.
Tutto bello, ma c’è un lato oscuro in tutto ciò.
Devi sapere che l’A/B Testing, quando fatto male porta a dei danni ingenti.
Secondo una ricerca di Qubit, l’A/B Testing porta a 13 miliardi di dollari di perdita nel mondo degli Online Retailer.
“Quindi non testo?”
Testare funziona, ma devi sapere come fare. Altrimenti, andrai semplicemente ad aumentare quell’esorbitante numero.
Tra poco vedrai come evitare perdite ed impostare test che funzionino.
Partiamo dalle cose essenziali.
Quando si parla di A/B Test si intende una metodologia in cui vengono create due versioni differenti di un sito, app o advertising, per poi andare a confrontare le performance di ciascuna versione per individuare quella più performante.
Come si fa? Andiamo a scoprirlo!
Per mettere in atto un test devi individuare una variabile.
Ovvero, devi trovare almeno un elemento che farai variare, di cui dovrai creare due versioni differenti.
Ovviamente, puoi anche creare due versioni differenti in cui cambi più di due elementi.
Qui sotto trovi un esempio classico.
Nella versione A si utilizza l’immagine di una persona che guarda in una specifica direzione ed il tasto della Call-to-Action ha il colore blu.
Nella versione B, invece, l’immagine è differente, la ragazza è alle prese col suo esercizio e non dà nessuna direzione col suo sguardo. Inoltre, cambia anche il tasto della CTA.
Quale sarà la migliore? Lo diranno i dati, non il proprio gusto personale!
Ma i dati vanno saputi raccogliere.
Come prima cosa, devi avere un campione su cui fare il tuo test.
In gergo tecnico si parla di campione rappresentativo, ovvero di un campione grande abbatanza per rappresentare il numero di utenti che navigano il tuo sito web o usano la tua app.
“Di quanto deve essere questo campione?“
La riposta è la più stupida e ovvia che ci sia: dipende!
Se eri alla ricerca di un numero magico, mi dispiace deludarti: non c’è.
Devi calcolare l’ampiezza del tuo campione in autonomia.
Non ti preoccupare, ti daremo una mano a farlo.
Se questo ti ha un po’ confuso, qui sotto trovi due tool che ti daranno una mano a calcolare un campione adeguato per il tuo test:
Eccoti un esempio di come puoi utilizzare l’Evan Miller’s Tool per calcolcare il tuo campione rappresentativo.
In questo caso, indichiamo che il nostro Conversion Rate è del 10% e che vogliamo osservare almeno un 10% di incremento sul nostro Conversion Rate attuale.
Attenzione: è il 0.3% e non il 13%. Perché si prende il 10% del 3%.
Ok, lasciamo da parte la matematica e andiamo a vedere cosa ci dice il nostro strumento.
51486 è il numero di visitatori di cui abbiamo bisogno affinchè il nostro A/B Test ci dia un risultato significativo.
Ora vediamo quali sono gli elementi da testare.
Se nella tua mente frulla la domanda “Ma su cosa faccio A/B Testing?”, andiamo subito a darti una risposta.
Innanzitutto, a livello di Design puoi fare A/B Test su:
Ecco alcune domande che puoi porti per scoprire gli elementi delle immagini su cui puoi fare dei test:
Come vedi, c’è un mondo dietro alle “semplici” immagini.
Quando invece si tratta di testi, prova a sperimentare focalizzandoti su:
Puoi testare anche sui form presenti sul tuo prodotto.
Anche qui ti suggeriamo una serie di elementi che puoi prendere in considerazione:
Questi sono solo alcuni esempi, sicuramente ti avranno dato qualche spunto interessante.
“Ma come faccio a capire cosa funzione e cosa no?”
Ecco a te 17 KPI (Key Performance Indicators) da tenere d’occhio quando vuoi capire se il tuo A/B Test sta andando come speravi.
Le abbiamo suddivise per tipologia, in questo modo puoi prendere in considerazione solo quelle attinenti al tuo business.
Metriche di Acquisizione:
Metriche di Engagement e di Comportamento degli utenti:
Metriche di Conversione:
Metriche di User Experience:
Se ti va di approfondire questo argomento, questo nostro Blog Post fa al caso tuo.
“Ok, il mio A/B Test è partito. Quando lo devo stoppare?“
Proviamo ad utilizzare le linee guida di Google per la validazione di un test:
“Perché proprio due settimane? E’ per caso un numero magico?”
No, ma è un ottimo punto di partenza per validare un test.
Tendenzialmente, 2 settimane rappresentano una buona finestra temporale per dare senso ai dati raccolti, perché vengono compresi i giorni feriali, i fine settimana e qualsiasi altra anomalia che potrebbe verificarsi da una settimana all’altra.
Ma come ci dice Google: “due settimane è un minimo e gli esperimenti possono durare più a lungo”.
Per dare una risposta a questa più completa alla domanda “Quando devo stoppare il mio test?”, dobbiamo prendere in considerazione la significavità statistica.
Senza perdere tempo in definizioni pedanti, pensa alla significatività statistica come ad uno strumento che dice se i risultati del nostro test sono dovuti al caso oppure no.
Ovviamente, tu vuoi che i risultati del tuo test siano dovuti ai cambiamenti che tu hai apportato e non ad un colpo di fortuna.
Nell’ambito scientifico (dove i test e gli esperimenti hanno avuto origine) si utilizza il 5% oppure l’1% come livello di significatività statistica.
Questo vuol dire che si ha il 95% (oppure per il 99%) di probabilità che i risultati di un test non siano dovuti al caso.
Tu non vedrai mai la significatività statistica sulla dashboard del tuo tool per A/B Test.
Piuttosto, ti capiterà di trovare “Probability to be the best” oppure “Probability to beat baseline” con accanto una percentuale.
Sappi che la significatività statistica e “Probability to be the best”, oppure “Probability to beat baseline”, non sono proprio la stessa cosa, ma definiscono un concetti simili.
Quindi puoi fare affidamento su queste due espressioni per capire qual è la versione che migliore per il tuo prodotto.
Facciamo un esempio:
Adesso che ti sei sorbito tutte queste informazioni sull’A/B Testing, ti lasciamo con questa perla tanto ovvia quanto importante:
Non puoi sapere cosa funziona e cosa no, finchè non testi.