A/B-Testing

Zweck

Der A/B-Test entscheidet eine Auslieferungsfrage auf Basis von Evidenz: welche Variante auszuliefern ist, um wie viel sie die entscheidende Kennzahl bewegt und mit welcher Sicherheit. Er verwandelt eine Design- oder Produktdebatte in eine gemessene kausale Schätzung, wo die Diskussion sonst ein Abwägen zwischen Meinungen bliebe, oft der Meinung der ranghöchsten Person im Raum.

Das Ergebnis besteht aus zwei verbundenen Artefakten. Ein vorregistriertes Design, deklariert vor jeder Erhebung: die Hypothese, die primäre Kennzahl, die Leitplanken, der Stichprobenumfang und die Dauer. Eine Ergebnistabelle, die für jeden Arm die Fallzahl, den Wert der Kennzahl, die Differenz zur Kontrolle, deren Konfidenzintervall und das Verdikt angibt, die Variante auszuliefern oder nicht. Der Wert der Technik rührt daher, dass diese Differenz von der Änderung verursacht ist.

Anwendung

Wann sie zu verwenden ist

• Isolierbare und messbare Änderung: die Variante schaltet sich allein ein und legt einen bezifferbaren Nutzungsindikator offen, ohne von anderen Änderungen abzuhängen.
• Ausreichender Traffic für die Teststärke: genügend Nutzer, um den angestrebten Effekt in einem vernünftigen Zeithorizont nachzuweisen.
• Reversible Entscheidung mit geringem Einsatz: die unterlegene Variante bleibt für die Stichprobe, die sie gesehen hat, vertretbar.
• Abwägung zwischen konkurrierenden Varianten: eine Designentscheidung anhand einer Messung statt anhand einer Meinung fällen.

Wann sie nicht zu verwenden ist

• Traffic zu gering für die Teststärke: kein verwertbares Ergebnis in einem vernünftigen Zeitraum, besser Kohortenanalyse, qualitative Forschung oder ein schrittweiser Pilot.
• Nicht isolierbare Änderung oder starke Netzwerkeffekte: auf einem Marktplatz oder in einem sozialen Graphen kontaminiert ein Arm den anderen, ein Switchback- oder Cluster-Design nutzen statt einer einfachen Nutzeraufteilung.
• Irreversibler oder heikler Einsatz: Sicherheit, Compliance oder Risiko für den exponierten Nutzer, per Review entscheiden und keine lebende Kohorte dem Experiment aussetzen.

Beschreibung

Ein A/B-Test ist ein randomisiertes kontrolliertes Experiment. Der Live-Traffic wird zufällig zwischen einer Kontrolle (A) und einer oder mehreren Varianten (B) aufgeteilt, wobei jede Randomisierungseinheit, Nutzer oder Sitzung, nur eine Version sieht. Weil die Zuteilung zufällig ist, ist der einzige systematische Unterschied zwischen den Armen die untersuchte Änderung, und eine Kennzahldifferenz ist ihr zurechenbar. Genau darin ist die Technik die Online-Anwendung des Hypothesentests unter Randomisierung: die Statistik ist dieselbe, Null- und Alternativhypothese, Signifikanzniveau, Teststärke, p-Wert, Konfidenzintervall; ihr Eigenes ist die Randomisierung über realen Traffic. Sie misst damit das Reale, im Gegensatz zur Simulation, die ein Ergebnis aus einem Modell vorhersagt, ohne einen einzigen Nutzer auszusetzen.

Die Durchführung beginnt vor jeder Datenerhebung. Man formuliert die Hypothese und wählt das OEC (Overall Evaluation Criterion), den kurzfristig messbaren primären Indikator, von dem das Team glaubt, dass er das langfristige Ziel trägt, ergänzt um zu überwachende Leitplanken. Anschliessend legt man den minimal nachweisbaren Effekt fest, die kleinste Differenz, die auszuliefern sich lohnen würde, dazu das Niveau α (oft 0,05) und die Teststärke 1−β (oft 0,80). Aus diesen Parametern und der Varianz der Kennzahl berechnet man den Stichprobenumfang und daraus die Dauer aus dem erwarteten Traffic. Die Unterdimensionierung entscheidet sich hier: ein zu kleiner Test kann den angestrebten Effekt nicht nachweisen, und sein Nullergebnis lehrt nichts.

Die Zuteilung erfolgt auf der richtigen Einheit, und die realisierte Aufteilung wird durch eine Sample-Ratio-Mismatch-Prüfung verifiziert: eine Aufteilung, die vom angestrebten Verhältnis abweicht, etwa 50/50, verrät einen Daten- oder Zuteilungsfehler, der das Ergebnis verzerrt. Er ist zu diagnostizieren, bevor überhaupt etwas gelesen wird. Man lässt das Experiment danach über ganze Geschäftszyklen laufen, volle Wochen, die Werktag und Wochenende abdecken, ohne beim geplanten N mitten im Zyklus anzuhalten. Ein zu kurzer Test misst die Reaktion auf das Neue, Neugier angesichts einer ungewohnten Aufmachung oder Ablehnung der Änderung, während die Entscheidung auf dem stabilisierten Verhalten beruht.

Die Auswertung erfolgt mit dem Intervall: man berichtet die Differenz und ihr Konfidenzintervall gegenüber dem deklarierten α, denn eine reine Punktschätzung verbirgt die Unsicherheit. Die häufigste Falle ist das Peeking, das wiederholte Betrachten eines Tests mit festem Horizont und sein Abbruch, sobald er signifikant wird, was die Falsch-Positiv-Rate weit über das nominale α hinaus aufbläht; man legt den Horizont im Voraus fest oder nutzt ein sequenzielles Verfahren, das für die kontinuierliche Überwachung ausgelegt ist. Ein Gewinn bei der primären Kennzahl, der still eine Leitplanke verschlechtert, Latenz, Umsatz oder Retention, ist ein Verlust, ebenso wie die Optimierung eines lokalen Indikators, der Klicks, zulasten des OEC. Schliesslich fabriziert das nachträgliche Zerlegen eines Nullergebnisses, bis ein Segment signifikant hervortritt, Falsch-Positive durch multiple Vergleiche: ein Segmentbefund ist eine Hypothese für den nächsten Test.

KI

Die KI dient dem A/B-Test an seiner Peripherie. Sie erzeugt zu testende Kandidaten, Texte, Layouts oder Visuals, und speist die Pipeline mit Hypothesen. Sie beschleunigt die Auswertung: Extraktion der Ergebnisse, Verfassen des Berichts, Hervorheben von Anomalien. Sie automatisiert die Erkennung von Qualitätsproblemen, Ratio-Mismatch-Alarm, Ausreisser, Überwachung der Leitplanken. Und sequenzielles oder stets gültiges Werkzeug erlaubt es, einen Test kontinuierlich zu verfolgen, ohne die Peeking-Strafe.

Sie ersetzt das Urteil dort nicht, wo es entscheidet. Sie kann das OEC nicht festlegen: zu definieren, was besser bedeutet, ist eine Wahl des Geschäftswerts. Sie kann die reale Reaktion der Nutzer nicht erfinden, denn das Experiment existiert dafür, sie zu messen, und die Vorhersage eines Modells ist kein Beweis, das ist erneut die Grenze zur Simulation. Sie kann eine Signifikanz nicht bescheinigen, die sie nicht berechnet hat: eine plausible Zusammenfassung, die die Statistik überspringt oder ein durch Peeking erlangtes Ergebnis reinwäscht, ist weniger wert als keine Auswertung. Schliesslich sind die Daten eines A/B-Tests Verhaltensprotokolle auf Nutzerebene: sie einem externen Modell anzuvertrauen, schafft eine Exposition im Hinblick auf den Datenschutz, seinen Zweck und seine Minimierung im Sinne des revDSG.

Beispiele

Ein Online-Shop für Outdoor-Ausrüstung in der Westschweiz testet einen Gast-Checkout (Variante B) gegen seinen aktuellen Trichter mit Kontopflicht (A). Das OEC ist die Abschlussrate des Checkouts; die Leitplanken sind der durchschnittliche Warenkorb in CHF und die Zahlungsfehlerrate. Der Traffic beträgt rund 20'000 Checkout-Sitzungen pro Woche, zufällig 50/50 nach Sitzung aufgeteilt. Die Dauer wird auf zwei volle Wochen festgelegt, um ganze Geschäftszyklen abzudecken, was die Stichprobe auf 20'000 Sitzungen pro Arm bringt, über das von der Teststärke geforderte Minimum hinaus.

Das Design wird vor der Erhebung festgelegt.

Am Ende der zwei Wochen entscheiden die Ergebnisse.

Das Konfidenzintervall der Differenz schliesst die Null aus: die Differenz ist auf dem deklarierten α signifikant, und sie übersteigt den beibehaltenen minimal nachweisbaren Effekt. Der durchschnittliche Warenkorb bleibt im Rauschen, CHF 148 gegen CHF 146, der Abschlussgewinn wird also nicht mit einem Wertverlust erkauft, und die Sample-Ratio-Mismatch-Prüfung bestätigt eine realisierte Aufteilung von 20'000 gegen 20'000, im Einklang mit dem angestrebten 50/50. Das Verdikt lautet, B auszuliefern.

Visualisierungen

Die Technik verlangt zwei Formen der Darstellung. Ihr Mechanismus ist ein Fluss: eine Population von Live-Traffic, eine zufällige Aufteilung, zwei Arme, die je einer Version ausgesetzt sind, eine pro Arm gemessene Ergebniskennzahl, ein statistischer Vergleich, ein Verdikt. Das ist eine Geometrie aus Kästen und Pfeilen, die sich als Flussdiagramm zeichnet und die Hauptillustration bildet. Ihre Ergebnisse, das vorregistrierte Design und die Ergebnistabelle, bestehen aus Zeilen und Spalten: das Ergebnis ist die Tabelle selbst, die sich Arm für Arm nachlesen lässt. Aus dem Fluss entnimmt der Leser, dass die Differenz verursacht ist, zwei parallele Arme für eine einzige Änderung; aus der Ergebnistabelle, dass das Verdikt auf dem Intervall beruht, das die Null ausschliesst.

Kosten

Werkzeuge

Die Berechnung von Stichprobenumfang und Teststärke erfolgt mit einer Tabellenkalkulation oder einem dedizierten Teststärkerechner, im Vorfeld des Starts. Die Durchführung setzt eine Experimentierplattform voraus, die die Nutzer zuteilt, die Varianten ausspielt und die Exposition protokolliert, ob sie auf serverseitigen Feature Flags oder auf einem dedizierten Zuteilungsdienst beruht; Angebote wie Optimizely, VWO oder GrowthBook decken diesen Bedarf, das letzte als Open Source. Die Auswertung stützt sich auf das Web-Analytics-Werkzeug, das die Kennzahl trägt, und auf eine statistische Umgebung, R oder Python, für das Konfidenzintervall und die Ratio-Prüfung; Bibliotheken für sequenzielle oder stets gültige Tests vermeiden die Strafe der kontinuierlichen Überwachung. Im Schweizer Kontext fallen das Hosting der Verhaltensprotokolle und ihr Verarbeitungsort unter die Datenschutzpflichten und wiegen bei der Wahl einer Plattform.

Quellen

• Kohavi, R., Tang, D. und Xu, Y., Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing, Cambridge University Press, 2020: die Praktiker-Referenz der Methode, die das OEC, die Kennzahlen, die Leitplanken und das Plattform-Instrumentarium festlegt.
• Kohavi, R., Longbotham, R., Sommerfield, D. und Henne, R. M., Controlled experiments on the web: survey and practical guide, Data Mining and Knowledge Discovery, 18(1), 2009, pp. 140-181: die grundlegende Synthese, die die Methode und ihr Vokabular etabliert, Kontrolle und Behandlung, A/B und multivariat.
• Cohen, J., Statistical Power Analysis for the Behavioral Sciences, 2. Aufl., Lawrence Erlbaum Associates, 1988: das statistische Fundament der Effektstärke, der Teststärke und der Stichprobendimensionierung.
• Fabijan, A. et al., Diagnosing Sample Ratio Mismatch in Online Controlled Experiments, KDD '19, 2019, pp. 2156-2164: die Taxonomie und die praktischen Regeln zur Diagnose einer nicht konformen Traffic-Aufteilung.
• Johari, R., Koomen, P., Pekelis, L. und Walsh, D., Peeking at A/B Tests: Why It Matters, and What To Do About It, KDD '17, 2017, pp. 1517-1525: der Nachweis der Kosten des Peekings und das Mittel der stets gültigen Tests.