Test A / B et Multivariables : Introduction aux tests d’optimisation
Ce billet est une traduction de l’article de Linda Bustos.
Cet article est le premier d'une série basée sur les ressources présentées dans le dernier webinar: Taking Your Site Performance to The Next Level With Optimization Testing
La partie 1 contient un bref aperçu de c’est que sont les tests de sites et décrit les différences entre les tests d'utilisabilité, les split tests A/B et les méthodes d'analyses multivariées.
Que sont les tests d'optimisation?
Tout d’abord nous allons parler de ce que ces tests ne sont pas.
Les tests d’optimisations sont différents des "tests utilisateurs" et des "tests d’utilisabilité". Grâce aux tests d'utilisabilité, vous étudiez un petit échantillon d’utilisateurs, issus de votre cœur de cible, pour effectuer diverses tâches sous observation dans un environnement de type « laboratoire ».
L'objectif est d'utiliser la recherche qualitative afin de découvrir les problèmes d'utilisation sur votre site, et de comprendre comment les internautes parcourent votre site.
Les résultats que vous pouvez tirer de tests utilisateurs sont très précieux. Souvent, les sujets tests parlent à voix haute lorsqu’ils accomplissent leurs tâches, de sorte que vous puissiez découvrir, non seulement, les éléments qui bloquent les utilisateurs, mais aussi, pourquoi ils se retrouvent bloqués.
Par exemple, un commentaire comme : « Je déteste quand les sites me demande mon adresse e-mail lors de la validation de commande. Je ne veux pas recevoir de spams » peut vous indiquer qu’il est préférable d’expliquer brièvement les raisons pour lesquelles vous demandez une adresse e-mail (pour envoyer un mail de confirmation et le suivi de commande, plutôt que des messages promotionnels).
Les lacunes des tests d'utilisabilité sont, toutefois, nombreuses. Les tests utilisateurs nécessitent du temps pour sélectionner les participants au test, à écrire les questionnaires, conduire les tests, les analyser et compiler les données utiles. Vous devrez probablement compenser financièrement les participants aux tests. Les utilisateurs sont également sous observation pour accomplir des tâches prescrites, qui ne sont pas réalisées de la même manière que lorsque les utilisateurs ne sont pas contrôlés ou guidés. Et en travaillant avec un petit échantillon, vous ne pouvez pas collecter des données statistiquement significatives.
Quantifier l’impact d’un design sur un taux de conversion, et plus important encore, sur les recettes, est impossible avec des tests d'utilisabilité.
Introduction aux tests A / B et Multivariables
Les tests A / B et Multivariables vous permettent de tester quantitativement l'impact des changements de votre site Web sur vos indicateurs clés de performance. Plutôt que de mettre en œuvre des changements en fonction de votre intuition, d’une conception d'agence ou des opinions d'un « Boss », vous pouvez tester vos idées sur vos vrais clients et utiliser une quantité de chiffres pour confirmer ou infirmer vos hypothèses.
Les tests A / B
Un test A / B classique envoie 50% du trafic sur une version de « contrôle » (page existante, élément ou processus sur votre site), et 50% sur un «traitement» ou une version d'essai.
Si vous voulez faire preuve de prudence, vous pouvez répartir à 80% sur la version de contrôle et 20% sur la version d’essai pour réduire l'impact négatif sur vos évaluations de performances. Si l'expérience est un désastre, que n’aurez exposé que 20% de vos visiteurs. Toutefois, lorsque vous vous éloignez trop du 50/50, vous n'avez plus une comparaison 1-to-1. Vos résultats ne seront pas aussi fiables. Votre test devra également fonctionner plus longtemps pour atteindre des statistiques significatives.
Vous pouvez choisir d'inclure uniquement un pourcentage de vos visiteurs dans votre test, ou restreindre votre test à un segment d’utilisateurs (par exemple, de nouveaux visiteurs qui sont moins susceptibles d'avoir vu votre version existante).
Le test A / B n'est pas limité à la version A et B. Vous pouvez tester une version de contrôle avec un maximum de 9 versions différentes. Ainsi, un test A / B / C / D / E / F / G / H / I / J est toujours un test A / B. Les mathématiciens experts ont déterminé ce maximum !
Les tests univariés
Un test univarié comporte plusieurs versions d'une variable, comme un titre ou un bouton panier. L’univarié est un test A / B, si vous souhaitez tester plusieurs versions de la variable.
Les tests multivariables
Lorsque plusieurs variables sont testés en même temps (par exemple la combinaison de la vignette, la taille et la couleur du bouton panier), ça s'appelle un test multivariables.
Le nombre de versions d'essai dépend de A) le nombre de variables et B) le nombre de versions de chaque variable. Par exemple:
Variables = Vignette, taille du bouton panier, la couleur des boutons panier
Vignettes = 2 (un modèle, une image à plat)
Taille du bouton = 2 (petite, grande)
Couleur des boutons = 4 (rouge, orange, vert, bleu)
Total des versions de test = 2 x 2 x 4 = 16
Ou encore,
V1 : image du modèle, petit bouton rouge
V2 : image du modèle, petit bouton orange
V3 : image du modèle, petit bouton vert
V4 : image du modèle, petit bouton bleu
V5 : image du modèle, grand bouton rouge
V6 : image du modèle, grand bouton orange
V7 : image du modèle, grand bouton vert
V8 : image du modèle, grand bouton bleu
V9 : image à plat, petit bouton rouge
V10 : image à plat, petit bouton orange
V11 : image à plat, petit bouton vert
V12 : image à plat, petit bouton bleu
V13 : image à plat, grand bouton rouge
V14 : image à plat, grand bouton orange
V15 : image à plat, grand bouton vert
V16 : image à plat, grand bouton bleu
Utiliser toutes les combinaisons possibles dans votre test s’appelle un test «full-factoriel ». Sinon, vous utiliserez un test « factoriel fractionnaire ». Cela inclut la méthode Taguchi et d'autres. Les tests « factoriels fractionnaires » peuvent permettre de gagner du temps, car ils sont plus rapides pour atteindre des statistiques significatives - mais ne sont pas aussi fiables. Quelle que soit la version que vous exclurez de votre test pourrait peut-être être plus performante. Les tests « factoriels fractionnaires » ont été développés pour l'industrie manufacturière, où les prototypes sont coûteux à développer. Ce n'est pas le cas avec les sites Web.
Refonte radicale
Une refonte «radicale» teste plusieurs variables à la fois, mais ne doit pas être confondue avec un test multivariables. Une refonte radicale teste un aspect par rapport à un autre (ou un autre et un autre et un autre ...) c’est donc un test A / B.
Par exemple, vous pouvez tester votre conception de site existant contre une nouvelle conception proposée avec un menu de navigation totalement différent, une boîte de recherche, une page d'accueil merchandising, les call-to-action et les contenus de la page d'accueil.
Il est recommandé de commencer par un test de refonte radicale avant de commencer à peaufiner des éléments individuels avec des tests univariés ou des tests multivariables. Votre but est d'optimiser une conception plus performante, plutôt que d'investir du temps dans une version sous-optimisée. C'est aussi une bonne idée de scinder les tests de refonte au fil du temps plutôt que de simplement switcher vers une version, comme Amazon a fait avec sa dernière métamorphose majeure.
