Concevoir un test A/B à partir d’une friction de conversion

La CRO, ou optimisation du taux de conversion, consiste à améliorer un parcours pour faciliter une conversion pertinente, sans manipuler le visiteur. Le point de départ n’est pas une idée de changement : c’est une friction observée, c’est-à-dire une difficulté ou une hésitation repérable dans le parcours.

Chez Papeterie des Rives, le carnet à couverture rigide coûte 18,00 €. Les frais de livraison de 3,90 € apparaissent au panier. Cette succession d’écrans permet de situer un moment à examiner ; elle ne démontre pas encore pourquoi un visiteur renonce.

Un signal quantitatif peut indiquer où le parcours mérite d’être regardé : par exemple, des sorties fréquentes après l’arrivée au panier. Un retour qualitatif peut préciser une expérience vécue : « Je ne savais pas combien coûterait la livraison avant le panier. »

Ces deux indices se complètent. Ils rendent une explication plausible, mais ne prouvent pas automatiquement que les frais de livraison causent tous les abandons. Certains visiteurs peuvent aussi comparer, différer leur achat ou changer d’avis.

Vous ne choisissez pas une piste parce qu’elle vous plaît ou parce qu’elle semble facile. Comparez-la selon trois critères, sans les réduire à un score unique.

• Impact attendu : importance de la difficulté et part du parcours concernée. Il décrit un effet plausible, pas un gain promis.
• Solidité des indices : proximité entre les signaux disponibles et la modification envisagée. Des abandons au panier et des retours mentionnant les frais soutiennent davantage une piste sur les frais qu’un changement esthétique.
• Effort : travail, contraintes techniques et maintenance nécessaires pour préparer la modification.

Une piste très simple mais peu étayée n’est pas automatiquement prioritaire. De même, une piste à impact fort reste incertaine tant qu’elle n’a pas été évaluée.

Une hypothèse de test décrit une relation à vérifier, non un résultat acquis. Utilisez cette structure :

Si [modification], alors [comportement attendu], parce que [explication supposée].

La modification doit être précise et observable. Le comportement attendu concerne ici un achat dans les 7 jours. Le « parce que » exprime une interprétation plausible, qui reste à vérifier.

L’hypothèse ne promet donc pas une hausse des achats : elle rend la piste prioritaire testable.

La version témoin (A) reproduit le parcours actuel : les frais de livraison apparaissent au panier.

La variante (B) ajoute, sous « Ajouter au panier », la mention « Livraison en France métropolitaine : 3,90 € ». C’est la seule variable principale modifiée.

Le carnet à couverture rigide reste à 18,00 €, les frais réels restent de 3,90 €, le bouton et le reste du parcours restent identiques. Rendre une information visible ne revient pas à modifier les conditions commerciales.

Pour comparer les versions, définissez avant le test quels visiteurs peuvent y entrer : par exemple, les personnes qui voient pour la première fois la fiche du carnet à couverture rigide et pour lesquelles l’affectation peut être réalisée dans le respect de leurs choix de consentement.

Cette population éligible doit être la même pour A et B. Ne contournez jamais un refus de consentement pour suivre ou reconnaître un visiteur. Si une affectation stable n’est pas possible dans certaines conditions, documentez cette limite plutôt que de la masquer.

Les visiteurs éligibles sont répartis aléatoirement et en même temps entre la version témoin (A) et la variante (B), avec une cible de 50 % par version.

Un même visiteur doit retrouver sa version initiale lors de ses retours, lorsque cela est techniquement possible et compatible avec son consentement. Sinon, il pourrait voir A puis B : son comportement ne serait plus attribuable à une seule version.

La cible est 50/50, mais les effectifs observés ne seront pas forcément exactement égaux. Un écart faible peut arriver par hasard ; un déséquilibre important mérite une vérification.

L’hypothèse de Papeterie des Rives prévoit qu’afficher les frais de livraison sur la fiche produit peut favoriser l’achat. La métrique principale doit donc mesurer ce comportement : le Taux d’achat à 7 jours.

Formule :
Visiteurs avec achat à 7 jours / Visiteurs éligibles mesurés × 100

Le dénominateur comprend les visiteurs éligibles attribués à A ou B lors de leur première exposition à la fiche produit. Chaque visiteur n’y compte qu’une fois, même s’il revient plusieurs fois.

Le numérateur compte au maximum un achat par visiteur, effectué dans les 7 jours suivant cette première exposition. Il s’agit donc d’une mesure par visiteur, et non d’un taux calculé par session.

Une hausse du Taux d’achat à 7 jours ne suffit pas, à elle seule, à qualifier B de réussite. Avant le test, prévoyez aussi des garde-fous : ils signalent un effet indésirable ou une règle à respecter.

Les indicateurs secondaires exploratoires aident à comprendre le parcours, mais ne remplacent pas la métrique principale pour répondre à l’hypothèse. Par exemple, davantage d’ajouts au panier peut être intéressant sans se traduire par davantage d’achats.

Avant d’exposer de vrais visiteurs, vérifiez la chaîne qui relie chaque personne à la mesure : une version attribuée lors de sa première exposition à la fiche produit, cette exposition enregistrée, puis un achat éventuel rattaché au même visiteur.

La comparaison n’est valable que si A et B utilisent les mêmes définitions : même population éligible, même fenêtre de 7 jours et même règle d’un visiteur compté une fois au maximum dans le numérateur. Un événement présent dans un seul parcours ne suffit donc pas à prouver une collecte comparable.

Le contrôle préalable porte à la fois sur les données et sur le parcours. Une donnée manquante peut limiter ce que vous pouvez généraliser ; une définition différente entre A et B rend la comparaison elle-même fragile.

Le relevé ci-dessous a été établi avant le lancement de Papeterie des Rives. Il porte sur la version témoin (A) et la variante (B).

Le volume requis n’est pas un seuil universel. Il dépend notamment du taux d’achat initial, de l’amélioration que vous cherchez à détecter et des choix retenus pour le protocole.

Pour Papeterie des Rives, l’estimation fournie est de 5 000 visiteurs par version. Utilisez-la comme donnée de planification : il ne s’agit ni d’une promesse de résultat ni d’un calcul à refaire ici.

Pour estimer la durée, comptez uniquement les visiteurs éligibles mesurés lors de leur première exposition à la fiche produit. Le trafic total du site peut inclure des visiteurs qui ne peuvent pas entrer dans la comparaison.

La répartition cible est de 50 % par version. Avec 2 500 visiteurs éligibles mesurés par semaine, chaque version reçoit donc environ la moitié de ce volume.

Le besoin fourni est de 5 000 visiteurs par version : le scénario à 2 500 visiteurs hebdomadaires permet de l’atteindre en 28 jours d’inclusion. À l’inverse, un faible trafic de 200 visiteurs éligibles mesurés par semaine allonge fortement le calendrier.

Prévoyez une inclusion de 28 jours : elle couvre quatre cycles hebdomadaires complets. Puis gardez 7 jours supplémentaires pour laisser à chaque visiteur inclus le dernier jour terminer sa fenêtre d’achat.

La collecte de nouveaux visiteurs s’arrête à la fin des 28 jours. L’observation des achats, elle, continue pour les derniers visiteurs inclus. Le calendrier total de lecture est donc de 35 jours.

Dans l’optimisation du taux de conversion (CRO), un écart observé n’est pas automatiquement un effet réel. Au début d’un test, quelques achats de plus ou de moins peuvent venir de la variabilité aléatoire : si vous répétiez la comparaison avec des visiteurs comparables, les taux bougeraient naturellement.

Après 4 jours, Papeterie des Rives observe 6 achats sur 160 visiteurs dans la version témoin (A) et 8 achats sur 160 dans la variante (B) : de 3,8 % à 5,0 %, soit +1,2 point. B paraît devant, mais le volume prévu de 5 000 visiteurs par version et la durée prévue ne sont pas atteints. Cette avance précoce ne suffit pas à déclarer B gagnante.

Un résultat non concluant signifie que les données disponibles ne permettent pas de trancher. Ce n’est pas une preuve que B est inefficace : c’est une absence de preuve suffisante dans un sens comme dans l’autre.

Un test compromis est différent : une anomalie de collecte, un parcours défaillant ou des conditions non comparables empêchent une comparaison fiable. Il faut corriger le problème avant de tirer une conclusion.

Un protocole défendable forme une chaîne : les indices décrivent une friction, la priorité désigne une piste à examiner, puis l’hypothèse, les versions, la population, la métrique principale, les garde-fous, les vérifications et le calendrier concernent cette même piste.

Contrôlez trois liens :

• les indices rendent la modification plausible, sans la prouver ;
• la variable principale doit pouvoir influencer le comportement suivi par la métrique principale ;
• le volume, la durée et la collecte doivent permettre une comparaison exploitable.

Une incohérence se corrige avant le lancement, non en interprétant plus vite un résultat.

Une hypothèse prioritaire est une piste à vérifier. Un test prévu fixe à l’avance comment la vérifier. Un gain démontré ne peut être envisagé qu’après une collecte comparable, complète et interprétée avec ses garde-fous.

Si le trafic ou les conditions ne permettent pas une comparaison exploitable, différez le test ou choisissez une autre démarche adaptée. Cette décision prudente est préférable à l’annonce prématurée d’une variante gagnante.

Fiche à finaliser — Papeterie des Rives

Observation — Le carnet à couverture rigide coûte 18,00 €. La livraison en France métropolitaine coûte 3,90 € et n’est indiquée qu’au panier. Plusieurs retours existants évoquent cette découverte tardive ; des sorties sont relevées après l’arrivée au panier.

Interprétation — [à formuler avec prudence]

Piste et priorité — Rendre les frais visibles sur la fiche produit. Justification attendue : impact attendu, solidité des indices et effort.

Hypothèse — [à compléter selon la structure « Si…, alors…, parce que… »]

Versions et variable principale — [à compléter]

Population — Visiteurs éligibles mesurés lors de leur première exposition ; répartition aléatoire et simultanée, cible de 50 % par version.

Métrique principale, garde-fous et vérifications — [à compléter]

Scénario de trafic et décision — 200 visiteurs éligibles mesurés par semaine, soit environ 100 par version par semaine. Le besoin estimé est de 5 000 visiteurs par version. L’équipe ne peut pas garantir un parcours et une offre inchangés pendant environ 50 semaines d’inclusion.