La Scienza Nascosta dietro un A/B Testing di Successo

L’A/B Testing è un’arte ed una scienza allo stesso tempo. Qui scoprirai i segreti dei grandi tester e come poter utilizzare le loro strategie per aumentare le prestazioni del tuo prodotto.

Test, test, test!

Ormai testare è diventato un mantra.

Nasce nell’ambito delle startup per poi diventare virale nel mondo dell’Adv. Adesso, l’A/B Testing si vuole prendere il mondo della UX Design.

Ormai tutti i designer sanno che testare il prodotto è un passo essenziale prima del suo rilascio all’utente.

Ma il testing non si ferma con il lancio del prodotto, deve essere costante fino a che il prodotto non diventi perfetto.

⚠️ Spoiler Alert: Il tuo prodotto non sarà mai perfetto! Quindi Testa! ⚠️

A breve tu stesso sarai in grado di fare A/B Testing, ecco cosa imparerai in questo Blog Post:

• Principi fondamentali per fare A/B Testing
• Su cosa fare A/B Testing
• Quali KPI monitorare
• Quando stoppare un test

Ti avvertiamo: preparati a sorbirti una buona dosa di matematica e statistica.

Si, perché quando una persona si mette a fare A/B Test, deve prendere in considerazione il fatto che sta lavorando con i numeri.

Se sei uno di quelli che “la matematica non fa per me”, non ti devi preoccupare.

Abbiamo reso le cose chiare e coincise, andando dritti al punto, senza fare voli pindarici in costrutti teorici.

Tra poco ti renderai conto tu stesso.

Ma prima, un breve accenno al perchè l’A/B Testing è così importante.

Negli ultimi anni, nel mondo del web non si fa altro che parlare di testing, ottimizzazione e Conversion Rate.

Grazie all’avvento del Machine Learning nel mondo del Marketing e del Design, si possono fare un sacco di test ed analisi in tempi brevi e con grandissimi risultati.

Tutto bello, ma c’è un lato oscuro in tutto ciò.

Devi sapere che l’A/B Testing, quando fatto male porta a dei danni ingenti.

Secondo una ricerca di Qubit, l’A/B Testing porta a 13 miliardi di dollari di perdita nel mondo degli Online Retailer.

“Quindi non testo?”

Testare funziona, ma devi sapere come fare. Altrimenti, andrai semplicemente ad aumentare quell’esorbitante numero.

Tra poco vedrai come evitare perdite ed impostare test che funzionino.

Partiamo dalle cose essenziali.

Quando si parla di A/B Test si intende una metodologia in cui vengono create due versioni differenti di un sito, app o advertising, per poi andare a confrontare le performance di ciascuna versione per individuare quella più performante.

Come si fa? Andiamo a scoprirlo!

Principi di A/B Testing

Per mettere in atto un test devi individuare una variabile.

Ovvero, devi trovare almeno un elemento che farai variare, di cui dovrai creare due versioni differenti.

Ovviamente, puoi anche creare due versioni differenti in cui cambi più di due elementi.

Qui sotto trovi un esempio classico.

Nella versione A si utilizza l’immagine di una persona che guarda in una specifica direzione ed il tasto della Call-to-Action ha il colore blu.

Nella versione B, invece, l’immagine è differente, la ragazza è alle prese col suo esercizio e non dà nessuna direzione col suo sguardo. Inoltre, cambia anche il tasto della CTA.

Quale sarà la migliore? Lo diranno i dati, non il proprio gusto personale!

Ma i dati vanno saputi raccogliere.

Come prima cosa, devi avere un campione su cui fare il tuo test.

In gergo tecnico si parla di campione rappresentativo, ovvero di un campione grande abbatanza per rappresentare il numero di utenti che navigano il tuo sito web o usano la tua app.

“Di quanto deve essere questo campione?“

La riposta è la più stupida e ovvia che ci sia: dipende!

Se eri alla ricerca di un numero magico, mi dispiace deludarti: non c’è.

Devi calcolare l’ampiezza del tuo campione in autonomia.

Non ti preoccupare, ti daremo una mano a farlo.

Se questo ti ha un po’ confuso, qui sotto trovi due tool che ti daranno una mano a calcolare un campione adeguato per il tuo test:

1. A/B Testguide
2. Evan Miller’s Tool

Eccoti un esempio di come puoi utilizzare l’Evan Miller’s Tool per calcolcare il tuo campione rappresentativo.

In questo caso, indichiamo che il nostro Conversion Rate è del 10% e che vogliamo osservare almeno un 10% di incremento sul nostro Conversion Rate attuale.

Attenzione: è il 0.3% e non il 13%. Perché si prende il 10% del 3%.

Ok, lasciamo da parte la matematica e andiamo a vedere cosa ci dice il nostro strumento.

51486 è il numero di visitatori di cui abbiamo bisogno affinchè il nostro A/B Test ci dia un risultato significativo.

Ora vediamo quali sono gli elementi da testare.

Su cosa fare A/B Testing

Se nella tua mente frulla la domanda “Ma su cosa faccio A/B Testing?”, andiamo subito a darti una risposta.

Innanzitutto, a livello di Design puoi fare A/B Test su:

• Layout: per esempio cambiando la disposizione degli elementi, senza andare a modificare il contenuto degli elementi stessi.

• Call to Action: la loro grandezza, il colore ed i micro-copy che si trovano all’interno.

• Font: il tipo e la dimensione del font da usare sulle differenti pagine del tuo sito o app.

• Immagini: qui si apre un abisso dovuto all’avvento del neuromarketing.

Ecco alcune domande che puoi porti per scoprire gli elementi delle immagini su cui puoi fare dei test:

• Usare immagini di persone, di oggetti, animali, paesaggi o oggetti astratti?
• Se ci sono le persone nell’immagine, quante devono essere?
• Dove devono guardare le persone?
• Qual è lo stato d’animo delle persone nell’immagine (felice, serio, triste, ecc.)?
• Qual è il mix di persone che appaiono in un’immagine?
• In quale posizione dovresti mettere l’immagine?
• E la dimensione dell’immagine, come dovrebbe essere?
• Colore immagine? La tonalità?

Come vedi, c’è un mondo dietro alle “semplici” immagini.

Quando invece si tratta di testi, prova a sperimentare focalizzandoti su:

• Header: utile per capire quali sono i titoli che portano più click e che generano maggiore interesse nei tuoi utenti.

• Copy: pensa a tutti i paragrafi presenti sul tuo sito (in particolare quelli sulle pagine di acquisto, di prodotto o di lead genereation), sono tutti terreni fertili per fare A/B Testing.

Puoi testare anche sui form presenti sul tuo prodotto.

Anche qui ti suggeriamo una serie di elementi che puoi prendere in considerazione:

• Posizione del form
• Design del form
• Titolo del form
• Sottotitolo
• Numero di campi nel form
• Numero di campi obbligatori
• Il design della Call-to-Action del modulo
• Dichiarazione sulla privacy

Questi sono solo alcuni esempi, sicuramente ti avranno dato qualche spunto interessante.

17 KPI da monitorare per capire come sta andando il tuo A/B test

“Ma come faccio a capire cosa funzione e cosa no?”

Ecco a te 17 KPI (Key Performance Indicators) da tenere d’occhio quando vuoi capire se il tuo A/B Test sta andando come speravi.

Le abbiamo suddivise per tipologia, in questo modo puoi prendere in considerazione solo quelle attinenti al tuo business.

Metriche di Acquisizione:

• Traffico per Sorgente
• Visitatori Unici
• Traffico Organico
• Domain Authority
• Search Ranking

Metriche di Engagement e di Comportamento degli utenti:

• Bounce Rate
• Durata Media per Sessione
• Dwell Time (una delle metriche più sottovalutate ma essenziale per capire quanto il contenuto del tuo sito sia digeribile)
• Pagina per Sessione
• Interazioni per Visita

Metriche di Conversione:

• Conversion Rate
• Conversione Visita a Registrazione
• Conversione Visita a Lead
• Completamento degli Obiettivi (ad esempio, su Google Analytics possono essere impostati e monitorati)

Metriche di User Experience:

• Page load speed
• Mobile responsiveness
• Bounce rate

Se ti va di approfondire questo argomento, questo nostro Blog Post fa al caso tuo.

Quando fermare l’A/B Test?

“Ok, il mio A/B Test è partito. Quando lo devo stoppare?“

Proviamo ad utilizzare le linee guida di Google per la validazione di un test:

• Come prima cosa, ci si deve assicurare che il traffico verso l’esperimento arrivi costantemente ogni singolo giorno.
• Si aspetta finché l’esperimento non arrivi a 2 settimane di tempo

“Perché proprio due settimane? E’ per caso un numero magico?”

No, ma è un ottimo punto di partenza per validare un test.

Tendenzialmente, 2 settimane rappresentano una buona finestra temporale per dare senso ai dati raccolti, perché vengono compresi i giorni feriali, i fine settimana e qualsiasi altra anomalia che potrebbe verificarsi da una settimana all’altra.

Ma come ci dice Google: “due settimane è un minimo e gli esperimenti possono durare più a lungo”.

Per dare una risposta a questa più completa alla domanda “Quando devo stoppare il mio test?”, dobbiamo prendere in considerazione la significavità statistica.

Senza perdere tempo in definizioni pedanti, pensa alla significatività statistica come ad uno strumento che dice se i risultati del nostro test sono dovuti al caso oppure no.

Ovviamente, tu vuoi che i risultati del tuo test siano dovuti ai cambiamenti che tu hai apportato e non ad un colpo di fortuna.

Nell’ambito scientifico (dove i test e gli esperimenti hanno avuto origine) si utilizza il 5% oppure l’1% come livello di significatività statistica.

Questo vuol dire che si ha il 95% (oppure per il 99%) di probabilità che i risultati di un test non siano dovuti al caso.

Tu non vedrai mai la significatività statistica sulla dashboard del tuo tool per A/B Test.

Piuttosto, ti capiterà di trovare “Probability to be the best” oppure “Probability to beat baseline” con accanto una percentuale.

Sappi che la significatività statistica e “Probability to be the best”, oppure “Probability to beat baseline”, non sono proprio la stessa cosa, ma definiscono un concetti simili.

Quindi puoi fare affidamento su queste due espressioni per capire qual è la versione che migliore per il tuo prodotto.

Facciamo un esempio:

• Sono passate due settimane, un periodo di tempo ragionevole per trarre delle conclusioni
• Guardi la tua dashboard e trovi che “Probability to beat baseline” è del 95%
• Puoi sentirti soddisfatto, la tua versione alternativa del prodotto è la migliore
• Adesso testa ancora!

Adesso che ti sei sorbito tutte queste informazioni sull’A/B Testing, ti lasciamo con questa perla tanto ovvia quanto importante:

Non puoi sapere cosa funziona e cosa no, finchè non testi.