Sai pianificare un test A/B efficace?

Con questo primo prezioso contributo di Alessandro Binello, fra i pionieri dell’email marketing italiano, andiamo ad approfondire in maniera dettagliata il nostro 3° ebook e il processo che porta alla creazione di test A/B che possano portare alla nostra attività un reale valore aggiunto in termini di conversioni.

Il primo A/B test fatto nella mia vita lavorativa è nato da una sfida tra colleghi su una newsletter aziendale. Due ipotesi contrastanti sul tavolo e situazione di stallo: nessuno voleva cedere sulle proprie convinzioni. Alla fine decidemmo di provare le due soluzioni con un semplice A/B test, lasciando ai dati l’ardua sentenza. Ovviamente la mia ipotesi venne surclassata e da quella lezione ho imparato non dare nulla per scontato e le fasi di test e verifica sulle campagne di email marketing sono diventate parte integrante delle strategie applicate ai nostri clienti.

Il processo di test e verifica è fondamentale per incrementare le performance delle newsletter. Un processo che richiede tempo, organizzazione e idee molto chiare.

Come si organizza un A/B test

Il punto di partenza è sempre un’ipotesi da provare o confutare. Una semplice domanda che sintetizza quello che vogliamo migliorare nelle performance delle nostre attività di email marketing. Sulla base dell’ipotesi vengono definiti le variabili da testare, le azioni da intraprendere e i risultati da interpretare.

Supponiamo di partire dall’ipotesi che “una call to action testuale invece che grafica incrementa il tasso di click”. In questo caso l’ipotesi definisce la variabile (la call to action), la metrica da valutare (CTR) e le azioni da intraprendere (creazione di due layout, uno con un bottone grafico per la call to action e uno con call to action testuale).

Perché il test sia veramente efficace è assolutamente necessario che l’ipotesi da verificare definisca una singola variabile. Se devo valutare l’impatto della call to action testuale sul tasso di click è fondamentale che tutti gli altri elementi del messaggio (oggetto, headline, copy, copy della call to action, numero di link, immagini, colori, etc..) siano identici. In caso contrario sarebbe impossibile confermare l’ipotesi, perché qualsiasi altro elemento potrebbe influire sul test. In questo caso si entrerebbe nel campo dei test multivariati (test che prevedono più variabili modificate).

Altro elemento fondamentale per il successo dell’A/B test è la definizione di una metrica unica per la valutazione dell’esito del test. Nel caso in esempio la metrica da prendere in considerazione è il tasso di click (CTR). L’importanza di una metrica unica è spesso sottovalutata perché si tende a guardare alla performance complessiva del test e non a quello che il test vuole provare. Guardando alla performance complessiva del test possono venir prese in considerazione altre metriche come ad esempio il tasso di conversione e potrebbe succedere che ad un CTR più basso (sempre restando al nostro esempio) corrisponda un tasso di conversione più alto. Sarebbe quindi facile pensare che in realtà il risultato del test non è veritiero. E questo è l’errore più comune che si può commettere: con l’A/B test stiamo cercando di verificare un’ipotesi, ogni altro effetto collaterale non può essere considerato, se non per definire altre ipotesi per successivi test. Nel caso in esempio, l’obbiettivo del test è quello di verificare la variazione del CTR in seguito ad una modifica della call to action e non la variazione del tasso di conversione che ne deriva.

Perché il test sia attendibile è necessario che venga applicato ad un campione statisticamente significativo. Di solito vengono eseguiti test su una percentuale dell’intera lista di invio (personalmente applica una percentuale compresa tra il 20% e il 30% su liste sopra i 10.000 contatti), ma è chiaro che su una lista di 100 contatti il campione non sarà sicuramente significativo. E’ poi importante che le liste di test vengano create in modo del tutto randonomico in modo da comprendere utenti eterogenei, più o meno attivi, con account di posta su ESP differenti, etc..

Al termine del test è poi importante documentare tutto quanto è stato fatto a partire dall’ipotesi per arrivare agli esiti ottenuti in modo da tenere traccia dei risultati ottenuti e perfezionare le performance future. Sempre al termine del test si possono prendere in considerazione altre metriche e creare nuove ipotesi da verificare in modo da continuare il processo di test e ottimizzazione.

Considerazioni finali

Il processo di A/B testing deve essere continuo per riuscire ad individuare tutti quegli elementi il cui cambiamento può influire in modo decisivo sulle performance delle campagne.

Questa attività non prevede regole precise valide in assoluto (ed è per questo che non ne ho citate): ogni target reagisce diversamente agli stimoli e quello che è valido per un certo tipo di pubblico, non lo è per gli altri.

Vi faccio un esempio pratico anche se non legato strettamente all’email marketing. Spesso si legge che stimolare il bisogno dell’acquisto con scadenze perentorie sia un buon modo per incrementare il tasso di conversione. WineExpress.com ha eseguito sul suo sito un A/B test su una call to action del tipo “order in the next [remaining time] and get $0.99 shipping” durante una promozione sulle spese di spedizione. La versione con la call to action ha determinato un 7% di decremento del tasso di conversione rispetto alla versione senza. Questo perché, probabilmente, il target di riferimento del sito non è un target che ricerca offerte speciali ed è meno propenso di altri a rispondere a politiche commerciali aggressive. Per chi volesse approfondire, il caso Wineexpress è trattato in questo interessante articolo (http://www.getelastic.com/best-practice-gone-bad-4-shocking-ab-tests/).

“In God we trust; all others must bring data” – Edwards Deming

La strada migliore verso il successo è quella di diffidare da regole scritte da altri. Le uniche regole da seguire sono quelle dettate dai dati dei vostri test.

Con MailUp puoi sperimentare più varianti di uno stesso messaggio e capire quale registra le performance migliori: scopri come!

Questo articolo è stato scritto da

Nazzareno Gorni

Laureato al Politecnico di Milano, ho iniziato l'attività professionale in una società di consulenza nel settore Marketing, ICT e CRM. Dopo cinque anni, insieme ad altri soci, ho fondato MailUp di cui oggi ricopro la carica di CEO. Sono inoltre docente a contratto presso l'Università IULM. Sono co-autore con l'avv. Maglio di "E-mail Marketing" (ed. Hoepli), "Fare business con Facebook - Email Marketing" (ed. Sole24Ore) e "Email Marketing 2.0" (ed. Hoepli).