Test multivariables ou Test A / B ?
Ce billet est une traduction de l'article de Linda Bustos
Si vous avez suivi notre série d'articles sur les tests d'optimisation, vous êtes déjà familier avec la différence entre les tests A / B et multivariables. L'article d'aujourd'hui porte sur le choix de la méthode de test appropriée à votre propre expérience.
Le split test A / B
Utilisez le Split Test A / B lorsque :
Vous venez tout juste de vous lancer dans des tests. L' A / B Testing est plus simple, en effet vous pouvez établir des tests rapidement. Obtenez quelques "résultats probants" à votre portée avant de passer à des expériences plus complexes.
Vous avez besoin de tester une seule variable. Votre hypothèse peut être "Présenter des témoignages sur la page d'atterrissage améliore la conversion." Vous avez juste besoin de tester la présence des témoignages contre leur absence. Ou, vous pouvez émettre l'hypothèse que le certificat de sécurité améliore la conversion. Le certificat de sécurité est une variable, mais vous pouvez le tester dans le coin en haut à droite, en bas à gauche, en haut à gauche, à côté du bouton panier et sans certificat de sécurité pour mettre en place un split test A / B / C / D / E.
Vous testez une refonte radicale. Une refonte radicale peut se référer à un nouveau site web complètement revisité avec différents templates de contenus, logo, design de boite de recherche, menus de navigation, catégories, etc… Ou encore, on peut se référer à une version radicalement remaniée de la page d'atterrissage. C'est une bonne idée de tester des concepts radicaux avant de procéder à des tests multivariables, afin d'éviter de micro-peaufiner un modèle de conception sous-optimisé.
Vous êtes limité par votre outil. Bien que moins fréquent maintenant que Google Website Optimizer est disponible à tous, vous pouvez être limité à un split test A / B par l'outil que vous utilisez (c'est peut-être une partie de votre plate-forme e-commerce).
La page ou le processus que vous testez enregistre relativement quelques conversions par jour. Ce n'est pas seulement une question de trafic. Pour atteindre une signification statistique, vous avez besoin de mesurer les objectifs réalisés. Si les conversions sont trop faibles (en dépit d'un fort trafic), vous ne pouvez pas tester plus de quelques versions à la fois. Ce serait trop long.
Le plus votre test est actif, plus vos résultats peuvent être faussés (les utilisateurs dont les cookies expirent ou sont supprimés peuvent voir plusieurs versions de votre test, votre catalogue de produits peut changer, le contexte économique peut changer le comportement du consommateur, votre stratégie de promotion peut changer, des pointes de trafic saisonnières peuvent se produire, etc…). Cela prend également du temps avant de pouvoir tirer profit de vos apprentissages.
Le test Multivariables (MVT)
Utilisez le MVT lorsque:
Vous peaufinez une version performante. Si vous avez effectué des tests de refonte radicale avec un A / B testing et que vous avez obtenu des rendements décroissants en testant un tout autre design, vous êtes prêt à affiner votre page pour y apporter de nouvelles améliorations.
Lorsque vous avez besoin de tester plus de 2 variantes pour chaque variable. Rappelez-vous, les tests A / B s'effectuent soit sur une variable unique soit sur une refonte complète. Bien que vous puissiez tester 2 variables avec 2 variantes chacune avec un outil de test en deux parties (ce n'est que 4 combinaisons), votre expérimentation est par définition un test à plusieurs variables.
Lorsque vous implémentez votre test comme étant multivariables, vous serez capable d'analyser un "rapport de section de page", qui vous permet de voir quelles variations obtient de meilleurs résultats pour chaque variable dans l'ensemble du test. Un A / B testing ne vous montrera que la recette gagnante. Ce que Google Website Optimizer appelle le "rapport de section de page" peut être appelé autrement dans d'autres outils.
Vous avez besoin de tester plus de 10 "éléments" à la fois. Lorsque votre test nécessite de tester des variables qui ont une incidence les uns les autres (la combinaison titre, image, prix et témoignages, par exemple), vous pouvez vite dépasser le nombre maximum de versions supportées par un seul A / B testing. Plutôt que d'effectuer des A / B testing successifs (qui vous expose à des biais de tests et est inefficace), il est préférable de tester toutes les versions avec le même trafic au cours de la même période.
Votre trafic et les conversions sont suffisantes. Il s'agit d'un pré-requis pour les tests multivariables propres. Il n'y a pas de "seuil magique" de trafic / conversions dont vous avez besoin, car cela dépend du nombre d'éléments que vous voulez tester, votre taux de conversion en vigueur, votre niveau de confiance désiré et votre croissance attendu. Il existe des estimateurs de durée de tests, mais ils ne sont pas parfaits. L'astuce consiste à estimer l'amélioration de conversion. Si vous surestimez votre amélioration, il faudra plus de temps pour recueillir suffisamment de données pour "prouver" statistiquement.
Vous ne pouvez pas tester une refonte radicale. Vous avez peut être des restrictions technologiques ou des directives de design / de marque, à respecter, ce qui vous limite à ne tester que des variables au sein de votre template. Dans ce cas, utiliser un MVT sera plus efficace que de tester successivement plusieurs tests univariés.
Le choix de la méthode de test appropriée fait partie de votre processus de test global. Rejoignez-nous prochain post pour la partie 4 de notre série: "Test d'Optimisation : Elaborer un process de test"
