Test A/B

Objectif

Le test A/B tranche une décision de livraison sur preuve: quelle variante expédier, de combien elle déplace la métrique qui compte et avec quelle certitude. Il convertit un débat de conception ou de produit en une estimation causale mesurée, là où la discussion resterait sinon un arbitrage entre opinions, souvent celle de la personne la mieux gradée.

Le livrable tient en deux artefacts liés. Un design préenregistré, déclaré avant toute collecte: l'hypothèse, la métrique primaire, les garde-fous, la taille d'échantillon et la durée. Un tableau de résultats qui, pour chaque bras, donne l'effectif, la valeur de la métrique, l'écart au contrôle, son intervalle de confiance et le verdict, livrer ou non la variante. La valeur de la technique vient de ce que cet écart est causé par le changement.

Usage

Quand l'utiliser

• Changement isolable et mesurable: la variante s'active seule et expose un indicateur d'usage chiffrable, sans dépendre d'autres modifications.
• Trafic suffisant pour la puissance: assez d'utilisateurs pour détecter l'effet visé dans un horizon raisonnable.
• Décision réversible à faible enjeu: la variante perdante reste tolérable pour l'échantillon qui l'a vue.
• Arbitrage entre variantes concurrentes: trancher un choix de conception sur une mesure plutôt que sur un avis.

Quand ne pas l'utiliser

• Trafic trop faible pour atteindre la puissance: aucun résultat exploitable dans un délai raisonnable, préférer l'analyse de cohortes, la recherche qualitative ou un pilote progressif.
• Changement non isolable ou effets de réseau forts: sur une place de marché ou un graphe social, un bras contamine l'autre, recourir à un plan par bascule ou par grappes plutôt qu'à une simple scission d'utilisateurs.
• Enjeu irréversible ou sensible: sécurité, conformité ou risque pour l'utilisateur exposé, décider par revue et ne pas soumettre une cohorte vivante à l'expérience.

Description

Un test A/B est une expérience contrôlée randomisée. On répartit au hasard le trafic vivant entre un contrôle (A) et une ou plusieurs variantes (B), chaque unité de randomisation, utilisateur ou session, ne voyant qu'une version. Parce que l'affectation est aléatoire, la seule différence systématique entre les bras est le changement à l'étude, et un écart de métrique lui est imputable. C'est en cela que la technique est l'application en ligne et randomisée du test d'hypothèse: les statistiques sont les mêmes, hypothèse nulle et alternative, seuil de signification, puissance, p-valeur, intervalle de confiance; ce qui lui est propre est la randomisation sur du trafic réel. Elle mesure ainsi le réel, à l'opposé de la simulation, qui prédit un résultat à partir d'un modèle sans exposer aucun utilisateur.

La conduite commence avant toute donnée. On formule l'hypothèse et l'on choisit l'OEC (overall evaluation criterion), l'indicateur primaire mesurable à court terme dont l'équipe croit qu'il porte l'objectif de long terme, assorti de garde-fous à surveiller. On fixe ensuite l'effet minimal détectable, le plus petit écart qui vaudrait la peine d'être livré, le seuil α (souvent 0,05) et la puissance 1−β (souvent 0,80). De ces paramètres et de la variance de la métrique on calcule la taille d'échantillon, puis la durée à partir du trafic attendu. Le sous-dimensionnement se décide là: un test trop petit ne peut pas détecter l'effet visé, et son résultat nul n'apprend rien.

L'affectation se fait à la bonne unité, et le partage réalisé se vérifie par un contrôle de conformité du ratio (sample ratio mismatch): un partage qui s'écarte du ratio visé, 50/50 par exemple, trahit un défaut de données ou d'affectation qui biaise le résultat. Il se diagnostique avant de lire quoi que ce soit. On laisse ensuite l'expérience tourner sur des cycles d'affaires entiers, des semaines pleines qui couvrent la semaine et le week-end, sans s'arrêter au N planifié en milieu de cycle. Un test trop court mesure la réaction à la nouveauté, curiosité devant un habillage inédit ou rejet du changement, quand la décision porte sur le comportement stabilisé.

La lecture se fait avec l'intervalle: on rapporte l'écart et son intervalle de confiance face à l'α déclaré, car une estimation ponctuelle seule masque l'incertitude. Le piège le plus courant est le peeking, regarder de façon répétée un test à horizon fixe et l'arrêter dès qu'il passe significatif, ce qui gonfle le taux de faux positifs bien au-delà de l'α nominal; on fixe l'horizon d'avance, ou l'on adopte une méthode séquentielle conçue pour le suivi continu. Une victoire sur la métrique primaire qui dégrade en silence un garde-fou, latence, chiffre d'affaires ou rétention, est une perte, tout comme l'optimisation d'un indicateur local, les clics, au détriment de l'OEC. Enfin, découper a posteriori un résultat nul jusqu'à ce qu'un segment ressorte significatif fabrique des faux positifs par comparaisons multiples: un constat de segment est une hypothèse pour le test suivant.

IA

L'IA sert le test A/B à sa périphérie. Elle génère des candidats à tester, textes, mises en page ou visuels, et alimente le pipeline en hypothèses. Elle accélère l'analyse: extraction des résultats, rédaction du compte rendu, mise en évidence d'anomalies. Elle automatise la détection des problèmes de qualité, alerte de mismatch de ratio, valeurs aberrantes, surveillance des garde-fous. Et l'outillage séquentiel ou toujours valide permet de suivre un test en continu sans la pénalité du peeking.

Elle ne remplace pas le jugement là où il décide. Elle ne peut pas fixer l'OEC: définir ce que veut dire mieux est un choix de valeur d'affaires. Elle ne peut pas inventer la réaction réelle des utilisateurs, puisque l'expérience existe pour la mesurer, et la prédiction d'un modèle n'est pas une preuve, c'est de nouveau la frontière avec la simulation. Elle ne peut pas certifier une signification qu'elle n'a pas calculée: un résumé plausible qui saute la statistique ou qui blanchit un résultat obtenu par peeking, vaut moins que pas d'analyse. Enfin, les données d'un test A/B sont des journaux comportementaux au niveau de l'utilisateur: les confier à un modèle externe crée une exposition au regard de la protection des données, de sa finalité et de sa minimisation au sens de la nLPD.

Exemples

Une boutique en ligne d'équipement de plein air en Suisse romande teste un checkout invité (variante B) contre son tunnel actuel à compte obligatoire (A). L'OEC est le taux de finalisation du paiement; les garde-fous sont le panier moyen en CHF et le taux d'erreur de paiement. Le trafic vaut environ 20'000 sessions de paiement par semaine, randomisées 50/50 par session. La durée est arrêtée sur deux semaines pleines, pour couvrir des cycles d'affaires entiers, ce qui porte l'échantillon à 20'000 sessions par bras, au-delà du minimum que la puissance exige.

Le design est arrêté avant la collecte.

Au terme des deux semaines, les résultats tranchent.

L'intervalle de confiance de l'écart exclut zéro: l'écart est significatif au seuil α fixé, et il dépasse l'effet minimal détectable retenu. Le panier moyen reste dans le bruit, CHF 148 contre CHF 146, le gain de finalisation ne se paie donc pas d'une baisse de valeur, et le contrôle de conformité du ratio confirme un partage réalisé de 20'000 contre 20'000, conforme au 50/50 visé. Le verdict est de livrer B.

Visualisations

La technique appelle deux formes de figure. Son mécanisme est un flux: une population de trafic vivant, un partage aléatoire, deux bras exposés chacun à une version, une mesure de résultat par bras, une comparaison statistique, un verdict. C'est une géométrie de boîtes et de flèches, qui se dessine en schéma de flux et fait l'illustration principale. Ses livrables, le design préenregistré et le tableau de résultats, sont faits de lignes et de colonnes: le livrable est le tableau lui-même, qui se relit bras par bras. Du flux, le lecteur retient que l'écart est causé, deux bras parallèles pour un seul changement; du tableau de résultats, que le verdict repose sur l'intervalle qui exclut zéro.

Coût

Outils

Le calcul de la taille d'échantillon et de la puissance se fait avec un tableur ou un calculateur de puissance dédié, en amont du lancement. L'exécution suppose une plateforme d'expérimentation qui affecte les utilisateurs, sert les variantes et journalise l'exposition, qu'elle repose sur des drapeaux de fonctionnalité (feature flags) côté serveur ou sur un service d'assignation dédié; des offres comme Optimizely, VWO ou GrowthBook couvrent ce besoin, la dernière en logiciel libre. L'analyse s'appuie sur l'outil de web analytics qui porte la métrique et sur un environnement statistique, R ou Python, pour l'intervalle de confiance et le contrôle de ratio; des bibliothèques de tests séquentiels ou toujours valides évitent la pénalité du suivi continu. En contexte suisse, l'hébergement des journaux comportementaux et leur lieu de traitement relèvent des obligations de protection des données et pèsent dans le choix d'une plateforme.

Sources

• Kohavi, R., Tang, D. et Xu, Y., Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing, Cambridge University Press, 2020: la référence praticienne de la méthode, qui fixe l'OEC, les métriques, les garde-fous et l'appareillage de plateforme.
• Kohavi, R., Longbotham, R., Sommerfield, D. et Henne, R. M., Controlled experiments on the web: survey and practical guide, Data Mining and Knowledge Discovery, 18(1), 2009, pp. 140-181: la synthèse fondatrice qui établit la méthode et son vocabulaire, contrôle et traitement, A/B et multivariable.
• Cohen, J., Statistical Power Analysis for the Behavioral Sciences, 2e éd., Lawrence Erlbaum Associates, 1988: le socle statistique de la taille d'effet, de la puissance et du dimensionnement de l'échantillon.
• Fabijan, A. et al., Diagnosing Sample Ratio Mismatch in Online Controlled Experiments, KDD '19, 2019, pp. 2156-2164: la taxonomie et les règles pratiques pour diagnostiquer un partage de trafic non conforme.
• Johari, R., Koomen, P., Pekelis, L. et Walsh, D., Peeking at A/B Tests: Why It Matters, and What To Do About It, KDD '17, 2017, pp. 1517-1525: la démonstration du coût du peeking et le remède des tests toujours valides.