AI Canvas

Ziel

Das AI Canvas grenzt ein KI-Projekt vom Entscheid her ab, dem es dienen soll. Seine Autoren stellen fest, dass die jüngsten Fortschritte der KI die Kosten der Vorhersage senken. Vorhersagen heisst für sie, aus vorhandener Information die fehlende zu erzeugen. Eine billigere Vorhersage ändert einen Entscheid nur, wenn jemand weiss, was er mit ihr tut. Das Canvas zwingt dazu, dies aufzuschreiben: was jeder Fehler kostet, welche Handlung auf die Vorhersage folgt, woran man den Erfolg erkennt. Vor jeder Entwicklung stellt das Canvas den menschlichen Teil des Entscheids (Urteil und Handlung) auf dieselbe Seite wie den Teil der Maschine.

Das Machine Learning Canvas übernimmt, sobald der Entscheid abgegrenzt ist. Für Dorard grenzt es ein ML-Projekt auf einer Seite ab: was vorherzusagen ist, den Entscheid, den die Vorhersage speist, die nötigen Daten und die Kosten eines Fehlers. Es dokumentiert auch ein bestehendes Vorhersagesystem. Verschiedene Autoren haben die beiden Canvas unabhängig voneinander entworfen. Mit dem AI Canvas entscheidet man, ob das Projekt startet. Das Machine Learning Canvas sagt dem Datenteam, was es baut.

Das Ergebnis ist ein ausgefülltes Canvas je Entscheid. Die leeren Blöcke listen auf, was vor der Freigabe eines Budgets noch zu klären ist.

Einsatz

Wann einsetzen

• Anwendungsfall gewählt, noch kein Budget: das AI Canvas ausfüllen, um zu prüfen, ob eine Vorhersage einen benannten Entscheid ändert.
• Workshop mit der Geschäftsleitung oder dem Fachbereich: das AI Canvas nehmen. Es spricht von Entscheid und Fehlerkosten ohne Data-Science-Vokabular.
• Spezifikation mit dem Datenteam: zum Machine Learning Canvas wechseln. Es legt Aufgabe, Daten, Features, Fristen und Evaluation fest.
• Vorhersagesystem bereits in Produktion: es auf dem Machine Learning Canvas dokumentieren, um zu sehen, welchen Block niemand verantwortet.
• Menschlicher Entscheid, der automatisiert werden soll: zuerst den Block Urteil ausfüllen, um zu beziffern, was jede Fehlerart kostet.
• Offerte eines Anbieters zu beurteilen: das AI Canvas vor der Vorführung ausfüllen. Danach den Anbieter fragen, welche Blöcke seine Lösung abdeckt.

Wann nicht einsetzen

• Entscheid nach einer bekannten und stabilen Regel: ihn in einer Entscheidungstabelle modellieren.
• Anwendungsfall noch nicht gewählt: Ein Canvas je Idee zersplittert den Workshop. Zuerst die Anwendungsfälle erfassen und priorisieren.
• Wahl zwischen Entwickeln und Kaufen: Das Canvas entscheidet sie nicht. Eine Make-or-Buy-Analyse vergleicht die Optionen.

Beschreibung

Das AI Canvas

Agrawal, Gans und Goldfarb haben das Canvas im Unterricht mit MBA-Studierenden der Rotman School of Management in Toronto entwickelt. Die drei Autoren füllen es für jeden Entscheid aus, dessen Ergebnis von einer Unsicherheit abhängt. Die vier oberen Blöcke beschreiben den Entscheid. Die drei unteren Blöcke beschreiben die Daten.

Der Block Vorhersage (Prediction) nennt die Information, die im Moment des Entscheids fehlt: Ist diese Transaktion betrügerisch? Wie viele Pakete treffen morgen im Verteilzentrum ein? Man schreibt sie als Frage, die ein Modell mit einem Wert oder einer Wahrscheinlichkeit beantwortet.

Der Block Urteil (Judgment) beziffert, was jeder Fehler kostet. Ein Fehlalarm und ein verpasster Alarm kosten selten gleich viel. Die Autoren behalten diesen Block dem menschlichen Urteil vor. Er wägt auch Faktoren ab, die sich schwer beziffern lassen. Der Schutz der Privatsphäre ist einer davon. Das Urteil kann das Modell selbst verändern: Kostet ein verpasster Alarm mehr als ein Fehlalarm, nimmt das Team mehr Fehlalarme in Kauf, um weniger Alarme zu verpassen.

Der Block Handlung (Action) nennt, was je nach Vorhersage geschieht. Die Handlung kann binär sein: die Transaktion sperren oder durchlassen. Sie kann auch eine breitere Wahl bieten: sperren, beim Kunden eine Bestätigung einholen oder durchlassen.

Der Block Ergebnis (Outcome) sagt, woran man im Nachhinein erkennt, dass die Handlung richtig war. Die Autoren sehen darin das Mass des Erfolgs. Solange das gewünschte Ergebnis unbekannt bleibt, halten sie jede Verbesserung für schwierig oder unmöglich.

Der Block Eingabedaten (Input) listet, was das System im Moment des Entscheids weiss: den Betrag, den Händler, die Uhrzeit, das Land der Karte.

Der Block Trainingsdaten (Training) beschreibt die Historie, die vergangene Situationen ihrem bekannten Ergebnis zuordnet. Das Modell kalibriert sich daran. Fehlt diese Historie, schlagen die Autoren vor, ein mittelmässiges Modell einzuführen und abzuwarten, bis es besser wird. Diese Wahl stützt sich dann auf den Block Rückmeldedaten.

Der Block Rückmeldedaten (Feedback) beschreibt, was das System im Betrieb sammelt. Diese Daten trainieren das Modell laufend. Sie können auf einen Standort beschränkt bleiben oder über mehrere Standorte zusammengeführt werden. Das beobachtete Ergebnis jeder Handlung speist sie.

Das Machine Learning Canvas

Louis Dorard hat das Machine Learning Canvas 2015 veröffentlicht, um ein ML-Projekt vor der Entwicklung abzugrenzen. Version 1.2 umfasst zehn Blöcke.

Im Zentrum des Canvas steht das Wertversprechen. Die linke Hälfte gruppiert die Blöcke der Vorhersagen: wie das System sie erzeugt und nutzt. Die rechte Hälfte gruppiert die Blöcke des Lernens aus Daten. Der untere Block deckt das System im Betrieb ab. Dorard ordnet die Blöcke nach Nähe an. Oben in jeder Hälfte betreffen die Blöcke Entscheide und Datenerhebung die Einbindung des Systems in den Geschäftsbetrieb. Unten in jeder Hälfte betreffen die Blöcke Vorhersagen erstellen und Modelle erstellen den Vorhersagemotor mit seinen Vorgaben zu Antwortzeit und Durchsatz.

Der Block Wertversprechen (Value Proposition) sagt, was man erreichen will und warum. Er nennt auch, wer das System nutzen oder seine Folgen tragen wird. Dorard rät, zuerst die Endnutzerin oder den Endnutzer zu nennen, dann den Wert, den man ihnen bringt.

Der Block ML-Aufgabe (ML Task) legt den Problemtyp fest (Klassifikation, Regression…), die Eingabe und die vorherzusagende Ausgabe mit ihren möglichen Werten. Dorard verlangt, hier die genaue Frage zu notieren, die das Modell entscheidet: "Ist diese E-Mail wichtig?" Er fügt einen Vergleichspunkt hinzu: was heute eine Person oder die bisherige Methode tut.

Der Block Entscheide (Decisions) sagt, wann und wie Vorhersagen zu Entscheiden werden, die den versprochenen Wert liefern. Für Dorard ist eine Vorhersage nur eine Information: Sie bewirkt nichts, solange niemand auf ihrer Grundlage entscheidet. Er rät, ohne vollständige Automatisierung zu beginnen. Eine Person prüft die Empfehlungen des Systems, bevor sie handelt.

Der Block Vorhersagen erstellen (Making Predictions) legt fest, wann das System für eine neue Eingabe vorhersagt und mit welcher Antwortzeit. Er präzisiert Häufigkeit, Volumen und die übrigen Betriebsvorgaben.

Der Block Offline-Evaluation (Offline Evaluation) wählt die Methoden und Metriken, die die Vorhersagen und ihre Nutzung vor der Einführung bewerten: die Testfälle, die Grösse des Testdatensatzes, die Kosten eines falsch Positiven und die eines falsch Negativen. Ein falsch Positives meldet einen Fall zu Unrecht. Ein falsch Negatives lässt einen Fall durch, der zu melden wäre. Im Beispiel der Physiotherapie-Rechnungen lässt ein falsch Negatives eine fehlerhafte Rechnung bezahlen und kostet im Mittel CHF 120. Ein falsch Positives schickt eine korrekte Rechnung in die Kontrolle und kostet CHF 15. Diese Kosten stammen aus dem Block Urteil des AI Canvas und gewichten die Offline-Metrik.

Der Block Datenquellen (Data Sources) listet die verfügbaren Rohdaten.

Der Block Datenerhebung (Collecting Data) sagt, wie man neue Beispiele zum Lernen beschafft: ihre Eingaben und ihre Ausgaben. Dorard verlangt, zuerst an die Beschaffung der Ausgaben zu denken. Die Ausgaben sind die knappe Datenart: das bekannte Ergebnis jedes vergangenen Falls. Im Rechnungsbeispiel ist die Ausgabe das Ergebnis der Kontrolle.

Der Block Features beschreibt, wie man Rohdaten in Eingabevariablen des Modells umwandelt. Dorard legt in diesem Block die Aggregationsfenster ("Käufe der letzten dreissig Tage") und das Datum fest, an dem man jeden Fall betrachtet (etwa den Stand des Kunden am 1. des Monats).

Der Block Modelle erstellen (Building Models) legt fest, wann ein Modell mit neuen Trainingsdaten erstellt oder aktualisiert wird und mit welcher Verarbeitungszeit.

Der Block Evaluation im Betrieb und Monitoring (Live Evaluation and Monitoring) legt die Methoden und Metriken fest, die das System nach der Einführung bewerten und den geschaffenen Wert beziffern.

Wie die beiden Canvas zusammenhängen

Die Autoren verbinden die beiden Canvas nicht.

Ein Canvas ausfüllen

1. Einen Entscheid wählen
   Ein Canvas trägt einen Entscheid, dessen Ergebnis von einer Unsicherheit abhängt. "Den Kundendienst verbessern" umfasst Dutzende von Entscheiden. "Dieses Ticket an den Second Level weitergeben oder nicht" ist einer.
2. Die Vorhersage schreiben
   Sie als geschlossene Frage oder als zu schätzenden Wert formulieren. Ändert die Antwort keine Handlung, zurück zu Schritt 1.
3. Das Urteil beziffern
   Jeden Fehler und seine Kosten in Franken, in Verzögerung oder in Risiko nennen. Die fachlich verantwortliche Person liefert diese Zahlen. Das Datenteam kann sie nicht erraten.
4. Handlung und Ergebnis beschreiben
   Nennen, wer auf die Vorhersage hin handelt. Aufschreiben, woran man im Nachhinein sieht, dass die Handlung richtig war.
5. Die Datenblöcke ausfüllen
   Für jede Datenart die Quelle, ihre Eigentümerin oder ihren Eigentümer und das Datum der letzten Prüfung notieren. "Das haben wir sicher irgendwo" lässt den Block leer.
6. Die leeren Blöcke lesen
   Jeder leere oder unsichere Block wird zu einer Frage mit einer verantwortlichen Person und einem Termin. Der Sponsor entscheidet dann, ob das Projekt startet, neu gefasst oder aufgegeben wird.
7. Zum Machine Learning Canvas wechseln
   Steht der Entscheid, überträgt das Datenteam den Fall auf das zweite Canvas. Dorard beginnt mit den Endnutzenden, dann mit dem Wertversprechen.

Für das AI Canvas bringt eine Sitzung von ein bis zwei Stunden drei Personen zusammen: die für den Entscheid verantwortliche Person, eine Person aus dem Datenteam und eine Person, die den Entscheid täglich trifft. Ohne die verantwortliche Person bleibt der Block Urteil leer.

Die leeren Blöcke lesen

• Urteil leer: Niemand weiss, wie der Schwellenwert des Modells einzustellen ist. Das Datenteam wählt ihn nach einer technischen Metrik. Der Fachbereich entdeckt die Kosten der Fehler in der Produktion.
• Ergebnis leer: Das Projekt kann nicht zeigen, dass es erfolgreich war. Um den Block zu füllen, nennt das Team mindestens einen Indikator und das Datum seiner ersten Messung.
• Trainingsdaten leer: Die Autoren schlagen vor, ein mittelmässiges Modell einzuführen und es lernen zu lassen. Diese Option setzt einen ausgefüllten Block Rückmeldedaten voraus.
• Rückmeldedaten leer: Im Betrieb sieht das Modell seine Fehler nicht mehr. Niemand bemerkt, dass es schlechter wird, wenn sich die Situationen ändern.
• Eingabedaten mit "zu prüfen" markiert: Das Projekt beruht auf Daten, die niemand gesehen hat. Eine teilnehmende Person öffnet vor der nächsten Sitzung einen Auszug.

Woran die Übung scheitert

Vom Modell ausgehen

Das Team kommt mit einem Modell oder einem Datensatz und sucht den Entscheid, dem es dienen könnte. Der Block Vorhersage füllt sich zuerst. Die Blöcke Urteil und Handlung bleiben vage. Wer vom Entscheid ausgeht, stellt die Reihenfolge wieder her: Die Vorhersage ergibt sich aus der Information, die im Moment des Entscheids fehlt.

Ein perfektes Modell, das nichts einbringt

Dorard zeigt, dass ein fehlerfreies Abwanderungsmodell nichts einbringen kann. Ein Kunde bringt CHF 10 ein. Eine Kampagne zur Kundenbindung hält einen von fünf. Jeder Kontakt kostet CHF 2. Einen abwanderungswilligen Kunden zu kontaktieren bringt im Mittel CHF 2 ein und kostet CHF 2. Der Gewinn bleibt null. Der Block Urteil legt diese Rechnung vor der Entwicklung offen.

Eine durch die Handlung verzerrte Rückmeldung

Im Betrieb beeinflusst das Modell die Daten, aus denen es lernt. Erhalten nur die markierten Kunden ein Angebot, weiss niemand mehr, welche ohne das Angebot gegangen wären. Dorard empfiehlt, eine Stichprobe von Fällen vom Eingriff des Systems auszunehmen. Diese Kontrollfälle zeigen, was ohne das System geschieht.

Ein Canvas für ein ganzes Programm

Ein KI-Programm berührt Dutzende von Entscheiden. Ein einziges Canvas vermischt ihre Vorhersagen und ihre Fehlerkosten. Kein Block lässt sich mehr lesen. Die Autoren füllen ein Canvas je kritischen Entscheid aus.

Aus Optimismus ausgefüllte Blöcke

"CRM-Daten" im Block Trainingsdaten sagt weder den Zeitraum noch die Eigentümerschaft noch ob das Ergebnis darin steht. Ein Block, der nur Systeme nennt, wirkt in der Sitzung vollständig. Der erste Datenauszug zeigt, was fehlt. Jede Zeile eines Datenblocks trägt eine geprüfte Quelle oder den Vermerk "zu prüfen".

KI-Überlegungen

Ein Chat-Assistent erstellt aus der Beschreibung des Anwendungsfalls eine erste Fassung des Canvas. Er schlägt mögliche Fehler für den Block Urteil vor, dazu mögliche Datenquellen und Fragen für jeden leeren Block. Er weist auch auf Widersprüche zwischen Blöcken hin: eine Handlung, die von keiner Vorhersage abhängt, ein Ergebnis, das nichts misst. Die Teilnehmenden des Workshops korrigieren diese Fassung Block für Block.

Der Assistent füllt den Block Urteil nicht aus. Die Kosten eines Fehlers sind eine Wahl des Fachbereichs. Eine plausible Zahl, die ein Modell vorschlägt, gilt später als gesicherte Zahl. Der Assistent weiss auch nicht, welche Daten die Organisation besitzt. Eine Quelle, die er nennt, weil sie plausibel ist, sieht aus wie eine geprüfte Quelle. Die Beschreibung eines Anwendungsfalls enthält oft Volumen, Kosten und Namen interner Systeme. Die Analystin oder der Analyst gibt sie nur einem Assistenten, den die eigene Organisation freigegeben hat.

Beispiele

Eine Krankenkasse will Physiotherapie-Rechnungen vor der Zahlung von einem Modell sortieren lassen. Das ausgefüllte Canvas zeigt, was seine leeren Blöcke melden.

Der Schwellenwert im Block Handlung stammt aus dem Block Urteil. Eine Rechnung zu kontrollieren kostet CHF 15. Eine fehlerhafte Rechnung zu bezahlen kostet im Mittel CHF 120. Eine Kontrolle entdeckt den Fehler und verhindert diese Zahlung. Die Kontrolle lohnt sich, sobald die Fehlerwahrscheinlichkeit 12,5 % übersteigt (15 geteilt durch 120).

Der Block Rückmeldedaten ist leer. Rechnungen, die ohne Kontrolle bezahlt werden, gehen nicht mehr über den Tisch einer Sachbearbeiterin oder eines Sachbearbeiters. Das Modell sieht deshalb nie die Fehler, die es durchlässt. Der Block Trainingsdaten hat denselben Mangel: Die Historie enthält nur die kontrollierten Rechnungen. Diese hatte eine Sachbearbeiterin oder ein Sachbearbeiter ausgewählt. Ein Modell, das auf ihnen trainiert, lernt die Auswahl der Sachbearbeitung. Die Krankenkasse ergänzt den Block Handlung um eine Zufallskontrolle von 2 % der automatisch bezahlten Rechnungen. Jede Zufallskontrolle kostet CHF 15. Dieser Betrag ist der Preis der Rückmeldedaten. Diese Kontrollen speisen den Block Rückmeldedaten. Sie ergänzen die Historie auch um Rechnungen, die niemand aus der Sachbearbeitung ausgewählt hat.

Visualisierungen

Eine Farbe markiert jeden leeren Block, sodass er auf den ersten Blick auffällt. Die Tabelle der Entsprechungen führt vom einen Canvas zum anderen.

Aufwand

Werkzeuge

Für das AI Canvas genügt ein A3-Blatt oder ein Whiteboard. Ein Team an mehreren Standorten nutzt ein geteiltes Dokument oder ein Online-Whiteboard.

Dorard stellt das Machine Learning Canvas mit zehn Blöcken auf ownml.co als PDF, Word, ODT und Google Doc bereit. Für den Download ist eine Anmeldung zu seinem Newsletter nötig.

Quellen

Beide Canvas sind Autorenmethoden. Kein Body of Knowledge eines Berufsverbands beschreibt sie.

• Agrawal, A., Gans, J. und Goldfarb, A. (2018), A Simple Tool to Start Making Decisions with the Help of AI, Harvard Business Review, 17. April 2018: das AI Canvas und die Definition seiner Blöcke durch die Autoren.
• Dorard, L., Machine Learning Canvas, OWNML: die Vorstellung des Canvas durch den Autor, Version 1.2 und die Vorlagen zum Herunterladen.
• Dorard, L. (2016), From Data to AI with the Machine Learning Canvas (Part I), Medium: die zehn Blöcke, ihre Fragen und ihre Anordnung.
• Dorard, L., From Data to AI with the Machine Learning Canvas (Part II), LinkedIn: die Datenerhebung und die Features.
• Dorard, L., From Data to AI with the Machine Learning Canvas (Part III), LinkedIn: das Wertversprechen, die ML-Aufgabe, die von einer Person geprüften Entscheide und die Kontrollstichprobe.
• Dorard, L., From Data to AI with the Machine Learning Canvas (Part IV), LinkedIn: das Erstellen der Vorhersagen, die Offline-Evaluation und das Abwanderungsmodell, das nichts einbringt.