Lift-Chart und Cumulative-Gains-Chart

Ziel

Beide Charts bauen auf der Ordnung auf, die ein Score je Einheit erzeugt, eine vorhergesagte Wahrscheinlichkeit oder eine beliebige Bewertung, und sie beantworten eine einzige Frage: Wie viele Antworten erfasst man, wenn nur die bestplatzierten kontaktiert werden. Die Entscheidung, der sie dienen, ist eine Budgetentscheidung: Eine Nachfasskampagne oder eine Kundenbindungsaktion verfügt über ein begrenztes Budget und muss wählen, wen sie bearbeitet.

Das Arbeitsergebnis ist der Cutoff, ausgedrückt in Dezilen oder in Prozent der sortierten Population, mit den Annahmen, die ihn tragen: die Kosten eines Kontakts, der Wert einer Antwort, die Validierungsmenge, aus der die Zahlen stammen, und die Basisrate, der Anteil der Antwortenden an der gesamten Population. Die Gains-Tabelle gehört ebenso zum Arbeitsergebnis wie das Chart: Ein Cutoff ohne seine Tabelle lässt sich nicht prüfen.

Die Konfusionsmatrix, die Data Mining behandelt, misst ein Modell an einer bereits gesetzten Entscheidungsschwelle: Sie zählt die richtig Positiven und die falsch Positiven. Die beiden Charts sind das Instrument, mit dem diese Schwelle gewählt wird.

Einsatz

Wann einsetzen

• Score oder Rangliste vorhanden: Das Modell liefert eine Propensity je Einheit, kalibriert oder nicht, bei der allein die Reihenfolge zählt.
• Budget oder Kapazität gedeckelt: Die Zahl der bearbeiteten Fälle ist begrenzt und es ist zu wählen, welche es sind, sei es bei der Kampagnenselektion, bei einer Kundenbindungsaktion oder bei einer Warteschlange im Inkasso, in der Betrugskontrolle oder in der Dossierprüfung.
• Kontaktkosten und Antwortwert bezifferbar: Die Gewinnkurve wird berechenbar und der Cutoff folgt daraus.
• Vergleich zweier Modellkandidaten: Auf derselben Population erfasst das Chart, das dominiert, bei gleichem Budget mehr Antworten.
• Abwägung vor einem Gremium: Das Chart liest sich ohne Kenntnis des Modells und wird in CHF diskutiert.

Wann nicht einsetzen

• Binäre Ausgabe ohne zugrundeliegenden Score: Ein regelbasiertes System liefert keine Rangliste, deshalb die Konfusionsmatrix an der Entscheidungsschwelle lesen, die die Regel bereits vorgibt.
• Stetige Zielgrösse: Eine Mengen- oder Betragsprognose lässt sich nicht in erfasste Antworten übersetzen, deshalb ein Mass für den Prognosefehler verwenden.

Beschreibung

Die Rangliste, Rohstoff beider Charts

Ein überwachtes Klassifikationsmodell liefert eine Propensity, die von ihm vorhergesagte Antwortwahrscheinlichkeit. Die Umwandlung in eine binäre Entscheidung verlangt eine Entscheidungsschwelle, und Provost und Fawcett beobachten, dass viele geschäftliche Entscheidungen ohne diesen Schritt auskommen: Es genügt ihnen, die Population zu ordnen und von oben nach unten zu handeln, bis das Budget aufgebraucht ist (Data Science for Business). Die sortierte Liste an einem Rang zu schneiden setzt diese Entscheidungsschwelle indirekt; der Cutoff, um den es hier geht, ist dieser Rang, ausgedrückt als Anteil der Population. Die Kalibrierung des Scores ist deshalb gleichgültig: Ein Score, der alle Wahrscheinlichkeiten überschätzt, zeichnet dieselben Charts wie ein zutreffender, solange er die Population gleich ordnet.

Das Cumulative-Gains-Chart

Die nach absteigendem Score sortierte Population wird in gleich grosse Abschnitte zerlegt: zehn Dezile nach der Konvention des Direktmarketings, Perzentile bei grossen Populationen, wo sich der Verlauf glättet. Die Abszisse trägt den kumulierten Anteil der Population, der vom Kopf der Rangliste her kontaktiert wird, in Schritten von 10% bis 100%. Die Ordinate trägt den kumulierten Anteil der tatsächlichen Antworten, die in diesem obersten Abschnitt erfasst werden. Ein Punkt liest sich so: Bei 30% kontaktierter Population gibt die Ordinate den erreichten Anteil der Antwortenden an. Jaffery und Liu (2009) dokumentieren diese Lesart und die Einteilung in Dezile, aus der sie stammt.

Die Diagonale y = x ist die Referenz: Wer X% der Population zufällig kontaktiert, erfasst im Mittel X% der Antworten. Sie ist das Nullmodell, und Fawcett macht sie zum gemeinsamen Fundament der Bewertung über Ranglisten, ROC-Analyse eingeschlossen (2006). Die Kurve eines brauchbaren Modells ist konkav und liegt darüber; sie entfernt sich in den ersten Dezilen am weitesten von der Diagonalen und trifft wieder auf den Punkt (100%, 100%): Wer alle kontaktiert, erfasst alle, unabhängig vom Modell.

Der Lift in zwei verschiedenen Konstruktionen

Der Lift misst, um wie viel besser als der Zufall ein Abschnitt abschneidet. Er wird auf zwei Arten berechnet, welche die Praxis regelmässig verwechselt, und jede dient einer anderen Entscheidung.

Der kumulierte Lift ist das Verhältnis zwischen dem Cumulative-Gains-Chart und der Diagonalen: kumulierter Anteil der Antworten geteilt durch kumulierten Anteil der Population. Gegen denselben Anteil aufgetragen, beginnt er hoch und fällt, weil jeder hinzugefügte Abschnitt weniger dicht an Antworten ist als der vorangehende. Im letzten Punkt beträgt er genau 1,00, da Zähler und Nenner dort beide 100% sind.

Der Dezil-Lift wird Abschnitt für Abschnitt ohne Kumulation berechnet: Antwortquote des Abschnitts geteilt durch die Basisrate. Er wird als Balken gegen die Dezilnummer aufgetragen. Er ist die marginale Messgrösse, unabhängig von den Abschnitten, die ihm vorangehen.

Die Unterscheidung bestimmt die Wahl des Cutoffs. Der kumulierte Lift konvergiert konstruktionsbedingt gegen 1,00 und bleibt deshalb noch lange über 1, nachdem der Punkt überschritten ist, an dem die Verlängerung der Kampagne mehr kostet als sie einbringt. Wer nur diese Kurve vor sich hat, sieht ein Modell, das noch besser als der Zufall ist, und schliesst daraus, dass weiterzumachen sei. Die Entscheidungsgrösse ist der Dezil-Lift oder, besser, der Grenzgewinn des Abschnitts.

Die Tabelle bauen, Dezil für Dezil

1. Jede Einheit der Population mit dem Modell scoren, dann nach absteigendem Score sortieren.
2. Die sortierte Liste in gleich grosse Abschnitte zerlegen, konventionell in zehn.
3. In jedem Abschnitt die tatsächlichen Antworten zählen, erhoben auf einer etikettierten Validierungsmenge.
4. Die Antwortquote des Abschnitts berechnen: seine Antworten geteilt durch seinen Umfang.
5. Diese Quote durch die Basisrate teilen, um den Dezil-Lift zu erhalten.
6. Die Antworten der Abschnitte 1 bis k kumulieren, dann diese Summe auf alle Antworten beziehen, um die kumulierten Gains zu erhalten.
7. Die kumulierten Gains durch den kumulierten Anteil der Population teilen, um den kumulierten Lift zu erhalten.
8. Die Antworten des Abschnitts mit dem Wert einer Antwort multiplizieren und davon seinen Umfang mal die Kosten eines Kontakts abziehen: Das ist der Grenzgewinn, dessen Kumulation die Gewinnkurve ergibt.

Die acht Rechnungen ergeben die acht Spalten der Gains-Tabelle. Das Cumulative-Gains-Chart mit seiner Diagonalen zeichnen, dann das Lift-Chart mit dem Hinweis, welche der beiden Konstruktionen dargestellt ist: Eine Legende, die nur "Lift" sagt, lässt den Leser raten, welche.

Der Cutoff: Break-even und Gewinnkurve

Zwei Zahlen schliessen die Rechnung: die Kosten eines Kontakts und der Wert einer Antwort. Sie kommen aus der Kostenrechnung und aus dem Fachbereich, dieselben Zahlen, die eine Kosten-Nutzen-Analyse verbraucht, und die Kosten geteilt durch den Wert ergeben den Break-even. Ein Abschnitt, dessen eigene Antwortquote diesen Punkt übersteigt, fügt Gewinn hinzu; ein Abschnitt darunter zerstört Gewinn, auch dort, wo die Summe günstig bleibt. Auf die Basisrate bezogen liest sich der Break-even auch als Lift: 6,25% auf einer Population, die zu 9,3% antwortet, ergeben einen Lift von 0,67, die Höhe der Break-even-Linie in einem Chart des Dezil-Lifts.

Die Gewinnkurve kumuliert den Grenzgewinn Abschnitt für Abschnitt, und ihr Maximum bezeichnet den Cutoff. Solange die Antwortquote von Abschnitt zu Abschnitt fällt, was eine funktionierende Rangliste erzeugt, bedeutet das Anhalten am Gipfel das Anhalten beim letzten Abschnitt, dessen eigene Quote den Break-even überschreitet: Eine Summe hört genau dann auf zu wachsen, wenn der hinzugefügte Term negativ wird. Die Überlegung stammt aus der Wahl des Cutoffs unter asymmetrischen Kosten und unsicheren Verteilungen, wie Provost und Fawcett sie dargelegt haben (Machine Learning, 2001); die Gewinnkurve ist die Form davon, die ein geschäftliches Publikum lesen kann (Data Science for Business). Ohne bezifferbare Kontaktkosten und ohne bezifferbaren Antwortwert gibt es keinen Cutoff zu optimieren, und die Rangliste wird so verwendet, wie sie ist.

Was die Auswertung verfälscht

Ein auf Trainingsdaten gemessener Lift ist optimistisch. Die Überanpassung schmeichelt dort dem ersten Dezil, und die erste Frage vor einem Chart gilt der Menge, aus der es stammt.

Eine tiefe Basisrate macht die Dezile verrauscht. Ein Lift von 4,0, berechnet auf zwölf Antworten, ist von einem Lift von 2,5 nicht zu unterscheiden, allein durch die Stichprobenvarianz. Der Schutz dagegen ist eine explorative Analyse der rohen Anzahlen je Abschnitt, bevor irgendein Prozentwert gelesen wird.

Zwei Populationen mit unterschiedlichen Basisraten ergeben unvergleichbare Lifts. Dasselbe Modell zeigt einen höheren Lift auf einer Population, in der das Ereignis selten ist, weshalb der Vergleich zweier Kampagnen verlangt, jedes Cumulative-Gains-Chart gegen seine eigene Diagonale zu stellen oder zu normalisieren.

Die Tabelle wird mit beobachteten Antworten gefüllt. Eine vorhergesagte Wahrscheinlichkeit mit dem Umfang des Abschnitts zu multiplizieren und das Ergebnis als Zahl von Antworten zu behandeln, erzeugt einen eingebildeten Gewinn, den der Cutoff erbt.

Die operative Kapazität geht der Arithmetik vor. Der optimale und der erreichbare Cutoff fallen nicht auf dieselbe Stelle, und sie einander anzunähern, durch Streckung der Kampagne oder durch Anpassung ihres Umfangs, ist Arbeit des Business Analyst.

Der Cutoff wird für jede Kampagne neu berechnet. Er hängt von den Kontaktkosten und vom Antwortwert ab, die driften, sowie von der Basisrate, die sich von Aktion zu Aktion bewegt. Den Cutoff der letzten Runde unverändert zu übernehmen heisst, auf veralteten Annahmen zu entscheiden, ohne dass irgendetwas im Chart darauf hinweist.

KI-Überlegungen

Der deutlichste Gewinn liegt in der Erstellung der Tabelle. Die acht Spalten sind repetitive Codierarbeit, deren Spezifikation auf eine Seite passt, und ein Sprachmodell schreibt einen ersten Wurf in SQL oder Python, den der Analyst gegen die Definitionen gegenliest. Der zweite Nutzen ist die Übersetzung: Einem Gremium zu erklären, warum die Kampagne beim fünften Dezil aufhört, ausgehend von der Tabelle und den beiden Annahmen, ist die Umformulierungsarbeit, die ein Sprachmodell gut erledigt.

Plattformen für maschinelles Lernen erzeugen diese Charts standardmässig, was die Arbeit auf zwei Abnahmefragen verschiebt: auf welcher Menge das Chart berechnet wurde und welche der beiden Lift-Konstruktionen dargestellt ist.

Ein Sprachmodell, dem allein das Cumulative-Gains-Chart vorgelegt wird, leitet daraus einen selbstsicheren Cutoff ab, abgelesen am Knick der Kurve, ein Argument über die Form dort, wo die Entscheidung wirtschaftlich ist: Weder die Kosten eines Kontakts noch der Wert einer Antwort stehen im Chart. Ob die Validierungsmenge der Population ähnelt, die kontaktiert werden wird, bleibt ein Urteil über die Organisation und ihre Daten.

Beispiele

Eine Schweizer Krankenkasse bereitet eine Kundenbindungskampagne auf ihrem Bestand an Zusatzversicherungen vor, kurz vor den Kündigungsterminen. Ein Modell scort 20'000 Versicherte nach ihrer Propensity, ein Kundenbindungsgespräch anzunehmen, und die Population wird in zehn Dezile zu 2'000 zerlegt. Ein Kontakt kostet CHF 25, Anruf des Beraters und Bearbeitung inbegriffen. Ein gehaltener Versicherter ist CHF 400 wert, die vermiedenen Akquisitionskosten plus die Nettomarge einer Jahresprämie. Die auf der Validierungsmenge erhobene Basisrate beträgt 9,3%, 1'860 Antwortende.

Der Break-even beträgt 25 ÷ 400, also 6,25%. Dezil 5 überschreitet ihn mit 7,0%, Dezil 6 verfehlt ihn mit 5,0% und der kumulierte Gewinn erreicht sein Maximum bei CHF 398'000, um danach von Abschnitt zu Abschnitt zu fallen. Der kumulierte Lift beträgt im sechsten Dezil noch 1,54 und sinkt erst im zehnten auf 1,00: An keiner Stelle zeigt er an, wo aufzuhören ist. Der gewählte Cutoff liegt daher bei fünf Dezilen, 10'000 von 20'000 Versicherten.

Das Kundenbindungsteam führt 800 Anrufe pro Woche und bis zum Termin bleiben acht Wochen, also 6'400 Kontakte gegenüber den 10'000, die der Cutoff verlangt. Die Kapazität entscheidet vor der Arithmetik: Die Kampagne hört beim dritten Dezil auf, 6'000 Versicherte, für CHF 362'000, CHF 36'000 unter dem Optimum. Der Business Analyst beziffert die beiden Wege, die diese 36'000 zurückholen, und überlässt dem Sponsor die Abwägung: Den Start um fünf Wochen vorzuziehen bringt die Kapazität auf 10'400 Kontakte; die Kadenz auf 1'250 Anrufe pro Woche zu erhöhen deckt die 10'000 in acht Wochen.

Was der Business Analyst abgibt, passt auf eine Seite: der Cutoff, fünf Dezile oder drei unter der Kapazitätsbeschränkung; die Gains-Tabelle; die Annahmen von CHF 25 und CHF 400 mit ihrer Herkunft; die Validierungsmenge und die Basisrate; das Datum der nächsten Neuberechnung.

Visualisierungen

Das Cumulative-Gains-Chart mit seiner Diagonalen zeigt, was die Rangliste einbringt, und die Markierung auf dem Cutoff hängt die Entscheidung daran. Die beiden Konstruktionen des Lifts, nebeneinander auf denselben Daten, zeigen die kumulierte Kurve über 1, während die marginalen Balken bereits unter den Break-even gefallen sind. Die Gewinnkurve drückt den Cutoff in Franken aus, in der Einheit, in der ein Gremium entscheidet. Die Gains-Tabelle trägt die Zahlen, die das Chart nicht zeigt.

Aufwand

Werkzeuge

Eine Tabellenkalkulation genügt, sobald die Scores exportiert sind: zehn Zeilen, acht Spalten und zwei native Diagramme. Die Rechnung bleibt vor einem Gremium sichtbar. Bei grossen Populationen erfolgt die Einteilung in Abschnitte in SQL mit der Fensterfunktion NTILE. In Python liefert scikit-learn die Scores und matplotlib die Darstellung; scikit-plot gibt beide Charts in einer Zeile aus. In R decken die Pakete ROCR und lift denselben Bedarf. SAS Enterprise Miner und IBM SPSS Modeler zeichnen sie ohne Code. Die Gewinnkurve wird fast immer von Hand gezeichnet.

Quellen

• Jaffery, T. und Liu, S. X., Measuring Campaign Performance by Using Cumulative Gain and Lift Chart, SAS Global Forum 2009, Paper 196-2009: die Standardkonstruktion des Artefakts, Achsen, Einteilung in Dezile, Lift-Formel und Kampagnen, die mit beiden Charts nebeneinander behandelt werden. Beide Charts gehören zur Praxis des Direktmarketings, die sie seit den 1990er-Jahren einsetzt, und diese Arbeit dokumentiert ihre überlieferte Form.
• Fawcett, T., An Introduction to ROC Analysis, Pattern Recognition Letters, 27(8), 2006, S. 861-874: die Logik von Rangliste und Cutoff, die allen diesen Bewertungen gemeinsam ist, sowie die Diagonale als Referenz der Zufallsauswahl.
• Provost, F. und Fawcett, T., Robust Classification for Imprecise Environments, Machine Learning, 42(3), 2001, S. 203-231: die Grundlage für die Wahl des Cutoffs über den Erwartungswert, wenn die Kosten der Fehlklassifikation und die Klassenverteilung unsicher sind.
• Provost, F. und Fawcett, T., Data Science for Business, O'Reilly, 2013, Kap. 8: die Gewinnkurve als Artefakt der Geschäftsentscheidung und die Einordnung des Modells als Sortierwerkzeug. Ein Übersichtswerk zu beiden Beiträgen.