Technische Visualisierungen

Zweck

Eine technische Visualisierung ist ein statistisches Diagramm, das das Analyseteam während der Analyse für sich selbst erstellt, um eine Modellannahme zu prüfen. Ein Diagramm für einen Stakeholder, der entscheiden muss, ist eine Geschäftsvisualisierung. Die Trennung betrifft die Adressaten und den Zeitpunkt: Dasselbe Streudiagramm dient während des Modellbaus als Diagnose und wird danach als Teil der Ergebnispräsentation für das Gremium neu gezeichnet.

Ein Prognosemodell beruht auf Annahmen, die seine Leistungskennzahl nicht zeigt: unabhängige Prädiktoren, ein Fehler mit gleichbleibender Streuung, eine Verteilung ohne extreme Schiefe, eine Anzahl Cluster, die in den Daten eine Grundlage hat. Eine Genauigkeit von 94% oder ein R² von 0,87 fasst die durchschnittliche Leistung zusammen und lässt diese Annahmen ausserhalb des Blickfelds. Die technische Visualisierung ist der Ort, an dem sie wieder prüfbar werden, denn ein Anpassungsfehler hat eine Form, bevor er eine Zahl hat.

Das Ergebnis ist das Urteil über eine Modellierungsentscheidung: Die Annahme gleichbleibender Varianz hält, das redundante Variablenpaar reduziert sich auf eine einzige Variable, die Klassifikationsschwelle wird auf 0,31 statt auf das Maximum der Genauigkeit gelegt. Der Business Analyst ist dabei, wenn diese Diagramme vorgestellt werden, und sein Beitrag ist zu wissen, was jedes einzelne prüft, also zu erkennen, wann das Diagramm die daneben formulierte Schlussfolgerung nicht trägt. Das ist sein Anteil an der Bewertungsphase eines Data-Mining-Projekts: zu sagen, ob das Modell die gestellte Frage beantwortet und zu welchen Fehlerkosten.

Einsatz

Wann einsetzen

• Eine Variablenliste, die festzulegen ist: Die Korrelationsmatrix zeigt die Prädiktoren, die zweimal dasselbe messen.
• Ein Modell, das als "gut angepasst" angegeben wird: Das Residuendiagramm sagt, wo sich der Fehler konzentriert.
• Eine Schwelle, die für ein Klassifikationsmodell zu setzen ist: Die ROC-Kurve beziffert die Abwägung zwischen den beiden Fehlerarten.
• Eine Segmentierung, die fachlich zu benennen ist: Silhouettendiagramm und PCA-Projektion sagen, wie viele Cluster es gibt.
• Eine Veränderung, die einer Verkaufsaktion zugeschrieben wird: Das Autokorrelationsdiagramm sagt, ob die Reihe in diesem Rhythmus bereits eine Saisonalität aufweist.

Wann nicht einsetzen

• Ergebnispräsentation vor einem Gremium: Die Diagnose wird als Geschäftsvisualisierung neu gezeichnet, bevor sie auf die Leinwand kommt.
• Feldbedeutungen noch nicht festgelegt: Die Diagnose liefe auf Variablen mit schwankender Bedeutung; zuerst das Datenwörterbuch erstellen.

Beschreibung

Was jede Familie prüft

Der IIBA-Leitfaden führt acht Familien auf, aus vier Disziplinen: Zeitreihenstatistik, Regressionsdiagnostik, unüberwachtes Lernen und Signalentdeckungstheorie.

Eine Zeitreihe prüfen, bevor sie modelliert wird

Eine Zeitreihe wird zuerst an ihrem Autokorrelationsdiagramm geprüft, das die Korrelation der Reihe mit sich selbst um einen, zwei und dann n Zeitschritte verschoben zeigt. Das NIST-Handbuch gibt die Leseregel vor: Werte, die im Konfidenzband bleiben, weisen auf eine zufällige Reihe hin, ein langsames Abklingen auf Nichtstationarität, ein in festem Abstand wiederkehrender Ausschlag auf Saisonalität. Das ist der erste Schritt der Modellidentifikation nach der Box-Jenkins-Methode.

Eine Korrelationsmatrix lesen, bevor die Variablenliste steht

Die Korrelationsmatrix enthält für jedes Variablenpaar einen Koeffizienten zwischen -1 und 1, der ihren linearen Zusammenhang misst. Viele Modelle setzen unabhängige Eingangsgrössen voraus; zwei stark zusammenhängende Prädiktoren zählen denselben Effekt zweimal und machen die Gewichte instabil, die das Modell ihnen zuweist. Das ist Kollinearität. Ein Westschweizer Detailhändler, der ein Modell zur Prognose des Wochenumsatzes je Verkaufsstelle vorbereitet, erstellt die Matrix aus den Daten seiner 34 Filialen.

Der p-Wert, der den Koeffizienten begleitet, gibt die Wahrscheinlichkeit an, einen mindestens so starken Zusammenhang zu beobachten, obwohl keiner besteht: Ein Koeffizient von 0,41 aus 34 Filialen und derselbe Wert aus 3'400 Transaktionen haben nicht dieselbe Aussagekraft.

Was sagt ein Residuendiagramm?

Ein Residuum ist die Abweichung zwischen beobachtetem und vorhergesagtem Wert. Das Diagramm trägt diese Abweichungen auf der Ordinate ab, den vorhergesagten Wert auf der Abszisse. Das NIST-Handbuch legt die Lesart fest: Eine um null zentrierte Wolke ohne Struktur und mit gleichbleibender Streuung zeigt eine akzeptable Anpassung an. Der Fächer, dessen Streuung sich mit dem vorhergesagten Wert öffnet, weist auf Heteroskedastizität hin, also auf eine Fehlervarianz, die sich über den Wertebereich verändert; der angegebene mittlere Fehler gilt dann nicht von einem Ende des Bereichs bis zum anderen. Die Krümmung, als U oder umgekehrtes U, weist auf einen nichtlinearen Zusammenhang hin, den das Modell nicht erfasst hat.

Stammt der Fächer aus einer stark schiefen Verteilung der Zielgrösse, sucht die Box-Cox-Transformation die Potenz, die sie der Normalverteilung annähert. Ein Modell, das an den logarithmierten Umsatz angepasst wird, liefert Ausgaben, die vor jeder fachlichen Diskussion in Franken zurückgerechnet werden müssen.

Die Schwelle eines Klassifikators ist eine fachliche Abwägung

Ein Klassifikationsmodell liefert eine Wahrscheinlichkeit, und eine Schwelle macht daraus eine Entscheidung. Die ROC-Kurve trägt die Richtig-Positiv-Rate gegen die Falsch-Positiv-Rate für alle Werte dieser Schwelle ab; die Fläche unter der Kurve, die AUC, fasst die Trennschärfe des Modells zusammen und erlaubt den Vergleich zweier Modelle. Im Onlineshop desselben Detailhändlers erreicht ein Modell zur Erkennung betrügerischer Bestellungen eine AUC von 0,95. Bei einer Schwelle von 0,20 fängt es 82% der Betrugsfälle ab und blockiert 6% der rechtmässigen Bestellungen; bei 0,45 fängt es 61% ab und blockiert nur noch 1,2%. Wie Fawcett festhält, ist kein Punkt der Kurve für sich genommen besser: Die Wahl hängt von den jeweiligen Kosten der beiden Fehler ab. Eine durchgelassene betrügerische Bestellung kostet im Schnitt CHF 380; die Ablehnung einer rechtmässigen Bestellung CHF 12 an entgangener Marge und Fallbearbeitung. Dieses Kostenverhältnis kommt aus dem Fachbereich, und es auszusprechen ist die Arbeit des Business Analysten.

Eine Segmentierung wird geprüft, bevor sie benannt wird

Ein Partitionierungsverfahren mit fest vorgegebener Clusterzahl, etwa k-Means, liefert immer die verlangte Anzahl, auch wenn es sie in den Daten nicht gibt. Das Silhouettendiagramm, das auf Rousseeuw zurückgeht, trägt für jede Beobachtung einen Wert zwischen -1 und 1 ab, der ihre Nähe zum eigenen Cluster im Vergleich zum Nachbarcluster misst, und stapelt diese Werte anschliessend nach Cluster. Breite und lange Silhouetten zeigen eine klare Partition an. Der IIBA-Leitfaden gibt dazu die typische Lesart an einer Kundensegmentierung: zehn verlangte Cluster, vier bis fünf dominante, ein schmales Cluster, das sich aufteilen liesse, zwei Cluster mit negativen Werten, deren Mitglieder dem Nachbarn ähnlicher sind als den eigenen. Die PCA-Projektion ergänzt die Diagnose, indem sie zeigt, auf welchen Achsen sich die Cluster trennen. Der Business Analyst benennt diese Achsen dann fachlich, grosse seltene Einkäufe gegenüber kurzen regelmässigen Besuchen, sonst bleibt die Segmentierung eine Ausgabe des Algorithmus.

Woran das Lesen scheitert

Die aggregierte Kennzahl, für eine Diagnose gehalten. Zwei Modelle mit demselben R² machen unterschiedliche Fehler, und nur die Form der Wolke zeigt das.

Der Korrelationskoeffizient, für ein Mass der Abhängigkeit gehalten. Pearson misst den linearen Zusammenhang. Zwei Variablen mit U-förmigem Zusammenhang ergeben einen Koeffizienten nahe null, den die Matrix als fehlenden Zusammenhang anzeigt, obwohl die Abhängigkeit stark ist.

Die Variable, ohne Rücksprache mit dem Fachbereich entfernt. Zwischen zwei mit 0,94 korrelierten Prädiktoren ist die Statistik gegenüber der Wahl gleichgültig. Der Fachbereich ist es nicht: Über den Personalbestand einer Filiale wird entschieden, ihre Verkaufsfläche ist eine feste Grösse und das Entfernen des ersten nimmt dem Modell die einzige Eingangsgrösse, auf die eine Entscheidung wirken kann.

Die Diagnose, für einen Gültigkeitsnachweis gehalten. Der IIBA-Leitfaden nennt die Grenze: Diese Diagramme entstehen auf den verfügbaren Daten und können das Modell auf eine innere Stimmigkeit hin ausrichten, die dem fachlichen Kontext fremd ist. Eine tadellose Residuenwolke auf einem Datensatz, dem die ausschlaggebende Variable fehlt, bleibt eine tadellose Residuenwolke.

KI-Überlegungen

Ein Coding-Assistent erzeugt die acht Diagramme in wenigen Zeilen, ausgehend von einem bereits angepassten Modell und einer Anweisung in natürlicher Sprache. Die Herstellungskosten werden vernachlässigbar, was den Engpass auf das Lesen verschiebt: Es ist verlockend, Diagnosen zu stapeln, ohne eine einzige davon zu befragen. Auf dem Screenshot eines Residuendiagramms benennt ein multimodales Modell die Form, Fächer oder Krümmung. Dieser Name ist eine erste Einschätzung, die am Diagramm zu prüfen ist.

Zwei Fehlentwicklungen sind diesen Diagrammen eigen. Die erste ist die plausible Deutung einer Hauptkomponente: Zeigt man einem Sprachmodell eine PCA-Projektion, benennt es die erste Achse mit Bestimmtheit als "Premiumkundschaft", während sich der Name einer Komponente an den Variablengewichten und am Fachwissen prüfen lässt. Die zweite betrifft die automatische Einstellung einer Klassifikationsschwelle, die Lernpipelines standardmässig auf die Genauigkeit oder den F1-Wert optimieren. Diese Kriterien setzen gleiche Kosten für beide Fehler voraus, eine Annahme, die der Fachbereich nicht bestätigt hat und die falsch ist, sobald ein unentdeckter Betrug dreissigmal so viel kostet wie eine unberechtigte Blockade.

Bleibt die Vertraulichkeit. Ein Diagnosediagramm transportiert die tatsächliche Verteilung der Daten, mitunter eine einzelne Beobachtung, die allein durch ihre isolierte Lage in einer dünn besetzten Wolke identifizierbar wird. Es einem gehosteten Werkzeug vorzulegen, verlangt dieselben Freigaben wie ein Auszug aus der Datenbank. Die Frage stellt sich, bevor der Screenshot gemacht wird.

Beispiele

Der Westschweizer Detailhändler nimmt sein wöchentliches Prognosemodell in Betrieb, angepasst an die Daten von 34 Filialen aus zwei Jahren Historie. Die Dokumentation gibt einen mittleren Fehler von CHF 6'200 an, und die automatische Nachschubregel hat sich für ihre Sicherheitsmarge auf diese Zahl gestützt. Das Residuendiagramm trägt die Abweichung zwischen erzieltem und prognostiziertem Umsatz in Franken gegen den prognostizierten Umsatz ab.

Das linke Teilbild zeigt, wie diese Diagnose bei einem korrekt spezifizierten Modell aussähe: eine um null zentrierte Wolke, deren Streuung nicht von der Grösse der Filiale abhängt. Das eingesetzte Modell ergibt das rechte Teilbild. Der Fächer ist auf einen Blick zu sehen: Die Abweichungen bleiben bei Filialen mit einer Prognose unter CHF 100'000 innerhalb von ±CHF 3'000 und erreichen bei den drei grössten ±CHF 34'000. Der mittlere Fehler von CHF 6'200 beschreibt weder die kleinen noch die grossen Filialen: Er verdoppelt die Marge, die die kleinen brauchen, und kürzt sie bei den grossen auf ein Fünftel; diese sind jede Woche bei den schnelldrehenden Artikeln nicht lieferfähig. Der Business Analyst meldet, dass das Fehlerintervall nach Grössenklasse auszuweisen ist und dass die Nachschubregel davon abhängt.

Visualisierungen

Ein Residuendiagramm wird als Streudiagramm über einer gestrichelten Nulllinie gezeichnet, beide Achsen in fachlichen Einheiten skaliert. Zwei Wolken werden in nebeneinanderliegenden Teilbildern mit derselben Ordinatenskala verglichen, sonst liest sich der Fächer des fehlerhaften Teilbilds als Effekt des Bildausschnitts.

Eine Korrelationsmatrix wird als Dreiecksmatrix gezeichnet, wobei die Diagonale und die obere Hälfte leer bleiben, weil sie dieselbe Information wiederholen. Die Stärke des Zusammenhangs wird über die Tönung der Zelle kodiert, und der Koeffizient bleibt ausgeschrieben: Eine Heatmap ohne Werte liest sich nach Augenmass, was zum Aufspüren eines verdächtigen Paares genügt und nie für die Entscheidung, eine Variable zu entfernen.

Kosten

Werkzeuge

Die Python-Bibliotheken (matplotlib, seaborn, statsmodels, scikit-learn) decken die acht Familien ab und sind das De-facto-Werkzeug der Data-Science-Teams. Die Diagramme werden dort neben dem Code geschrieben, der das Modell erzeugt hat, was sie reproduzierbar macht.

Bei R ist die Diagnostik Teil der Sprache: Der Plot-Aufruf auf einem Regressionsobjekt liefert die vier erwarteten Residuendiagramme, und ggplot2 übernimmt die Gestaltung.

Das Notebook (Jupyter, Quarto, R Markdown) hält Diagramm, Code und geschriebenes Urteil in einem versionierten Dokument zusammen. Das ist die Antwort auf den Dokumentationsaufwand.

Die Tabellenkalkulation zeichnet ein Streudiagramm und eine Trendlinie, womit sich ein handgemachtes Residuendiagramm erstellen lässt. Sie liefert weder Silhouette noch ROC-Kurve noch PCA-Projektion. BI-Plattformen (Power BI, Tableau) sind für die fachliche Ergebnispräsentation gebaut und zeigen diese Diagnosen nur über eingebetteten R- oder Python-Code.

Quellen

• IIBA, Guide to Business Data Analytics, §3.18 Technical Visualizations: der Zweck der Technik, die Abgrenzung zu den Geschäftsvisualisierungen, das Verzeichnis der acht Familien, die typische Lesart des Silhouettendiagramms an einer Kundensegmentierung sowie die dort genannten Stärken und Grenzen.
• NIST/SEMATECH, e-Handbook of Statistical Methods: die Leseregel für das Autokorrelationsdiagramm und sein Einsatz bei der Identifikation eines Box-Jenkins-Modells (§1.3.3.1), die Konstruktion des Box-Cox-Normalitätsdiagramms (§1.3.3.6) und das Kriterium der zentrierten Residuenwolke mit gleichbleibender Streuung (Kapitel Process Modeling).
• George E. P. Box und David R. Cox, "An Analysis of Transformations", Journal of the Royal Statistical Society, Series B, Bd. 26, 1964, S. 211-252: die Erstveröffentlichung der Potenztransformation.
• Tom Fawcett, "An Introduction to ROC Analysis", Pattern Recognition Letters, Bd. 27, 2006, S. 861-874: die Praxisreferenz zur ROC-Kurve, zur Fläche unter der Kurve und zur Abwägung zwischen Richtig-Positiv- und Falsch-Positiv-Rate je nach Schwelle.
• Peter J. Rousseeuw, "Silhouettes: A Graphical Aid to the Interpretation and Validation of Cluster Analysis", Journal of Computational and Applied Mathematics, Bd. 20, 1987, S. 53-65: der Artikel, der den Silhouettenkoeffizienten und das Diagramm definiert, das ihn abbildet.