## ⚖️ Set up A/B Testing > A/B testing is ideal when we need to **compare two options,** ensuring our choices are backed by real user behavior, not just assumptions. --- *👇 A case study with* ![[TeleLoisirs_Logo.png]] ## The Take Away ### Problem Statement Télé-Loisirs is one of the most popular entertainment magazines in France that covers television programming and entertainment news. Online, users reported issues when using the homepage resulting in a high bounce rate and low engagement. **How to identify opportunities, improve user experience and increase conversions ?** ![[TeleLoisirs_Problematic.png]] ### Solution **A/B test** on the Télé-loisirs website homepage by incrementally introducing small design, layout, and content variations over a 1 year period. ![[Tel_BeforeAfter 1.gif]] ### Roles I analysed data about how users interacted with the homepage and **suggested A/B tests hypothesis**, Grégoire designed the new version of the variations and Joris Implemented the tests. ![[TeleLoisirs_Roles.png]] > [!Translation In Process] > **A/B Testing ⚖️** case Study is coming out on February 2025 🇫🇷 🇬🇧 ! <!-- ## Introduction Bonjour à tous, Le studio UX de Prisma a pour double objectif de concevoir et développer des solutions répondant aux besoins de nos utilisateurs, tout en répondant aux objectifs business des marques qui les dirigent. "C'est bien beau... Mais, comment mesurer la réussite (ou non) de notre mission ?" De l'étude qualitative (le "pourquoi" et le "comment") à l'étude quantitative ("le "combien"), de nombreux outils et méthodes sont à notre disposition pour mesurer la pertinence de nos services. **Ça ne vous paraît pas clair ? C'est tout à fait normal.** Ainsi, pour mieux comprendre notre démarche, **étudions ensemble un exemple concret sur le site de Télé-Loisirs.** ## The Research Process ### Étape 1 : Comprendre le comportement des utilisateurs Une heatmap* (*carte de chaleur permettant de restituer le parcours des visiteurs d’un ou plusieurs page(s) par l’intermédiaire de leurs clics) effectué sur la Homepage de [TEL]  #### nous révèle que : - 2,80% des clics sur cette page s'effectuent sur la flèche de gauche du bloc "vidéo à ne pas manquer" - presque 1/3 des clics (**30,76%**) s'effectuent sur la flèche droite du bloc "vidéo à ne pas manquer" - **Malgré le défilement visiblement volontaire des vidéos, seulement 0,70% concerne le clic d'une d'entre-elles**.  *environ 1/3 des clics (30.76%) s'effectuent sur la flèche droite du bloc "vidéo à ne pas manquer"*  *Seulement 0.70% des clics s'effectuent sur l'image ou le titre d'une vidéo* ### Étape 2 : Émettre une hypothèses **Descriptif du test** : ("Quel est le comportement attendu ?") Le comportement attendu de ce bloc est d'accéder (parmi un choix de 8 vidéos à ne pas manquer) au contenu de la vidéo qui lui paraît le plus intéressant. Or, l'analyse de la heatmap nous a clairement démontré que ce comportement n'est pas réel, puisque les utilisateurs se contentent seulement de faire défiler les vidéos sans accéder au contenu de l'une d'entre elle. **Objectif du test** : ("Quelle est l'hypothèse qui souhaite être vérifiée ?") Notre hypothèse est que la formulation et la mise en évidence d’un «Call To Action » favorise le taux de réponse. De ce fait, nous souhaitons mesurer et comparer le taux de clics sur l'une de ces vidéos (version A) avec une nouvelle version de ce bloc "vidéo à ne pas manquer" (version B) **Type de tes**t : AB Test* [*mesurer l'impact d'un changement de version d'une variable sur l'atteinte d'un objectif] en version A : la version actuelle en version B: la version actuelle + un CTA "Voir la vidéo"  **KPI primaire** : - taux de clics sur le lien de la vidéo (image, titre et/ou CTA) **KPI secondaire** : - taux de clics sur le bouton "flèche de gauche" - taux de clics sur le bouton "flèche de droite" **Device(s) ciblé(s)** : Desktop/Mobile/Tablette **URL(s) des pages ciblée(s)** : http://www.programme-tv.net/ **Segment(s) d'internautes ciblé(s)** : Pas de segmentation **Autre(s) ciblage** : Pas d'autre ciblage **Modulation de trafic** : A - 50% B - 50% ### Étape 3 : Vérifier cette hypothèse Après avoir mis en production l'A/B test décrit ci-dessus, il nous reste à analyser ses résultats pour confirmer si notre hypothèse est vérifiée (ou non). **Voici le rapport** : Le taux de clics du bouton "flèche de droite" **à chuté de 7.33%**  *Le taux de clics sur le lien de la vidéo (image, titre et/ou CTA) **a augmenté de 4.96%***  ## En conclusion : Notre hypothèse (que la formulation et la mise en évidence d’un «Call To Action » favorisent le taux de réponse) est vérifié. En d'autres termes, **l'utilisateur passe moins de temps à faire défiler les vidéos et clic plus instinctivement sur l'une d'entre-elles** La version B du test sur le bloc "vidéos à ne pas manquer" est donc optimale car elle répond à notre double-objectifs : - Elle permet de contenter l'utilisateur en lui permettant d'accéder au contenu de la vidéo de son choix - Elle nous permet d'augmenter considérablement nos bénéfices en redirigent l'utilisateur sur une nouvelle page ### Étape 4/4 : nos recommandations : D'après les conclusions que nous avons tiré de ce test, nous vous recommandons de : - Mettre en ligne la version B du test, et de : > [!HINT] > Toujours préciser une interaction avec un "Call To Action" . (Même si l’opportunité d’action est déjà identifiée par le contact (un bloc vidéo est par définition cliquable), les études (ainsi que notre test A/B) ont largement prouvé que la formulation et la mise en évidence d’un « call to action » favorisent le taux de réponse.) -->