Metriken und Key Performance Indicators (KPI)

Zweck

Die Technik baut das System, mit dem eine Organisation weiss, ob ihre Lösung ihr Ziel erreicht und um wie viel sie davon abweicht. Das BABOK nennt es System zur Überwachung und Bewertung. Die Überwachung ist die laufende Erhebung von Daten, die das Erreichte mit dem erwarteten Ergebnis vergleicht. Die Bewertung ist die systematische und objektive Beurteilung der Lösung über die Zeit, um ihre Wirksamkeit festzustellen und zu erkennen, wo sie zu verbessern ist. Gute Indikatoren zu wählen genügt nicht: Überwachung und Bewertung verlangen einen dauerhaften Mechanismus, der sie in jeder Periode speist.

Das Lieferobjekt ist dieser vollständige Mechanismus. Es umfasst die an die Ziele gebundenen Indikatoren, ihre Zielwerte und vor allem die Verfahren, die das Ganze am Laufen halten: wie die Daten erhoben werden, wie sie analysiert werden, wie sie berichtet werden und gegen welche Baseline der Fortschritt gemessen wird. Es ist dieses System, das die Ausrichtung sichtbar macht, indem es Zwecke mit Zielen, Ziele mit Lösungen und Lösungen mit Aufgaben und Ressourcen verbindet. Ein gut gewählter Indikator, den aber nichts regelmässig erhebt, misst gar nichts.

Einsatz

Wann einzusetzen

• Ausgerollte Lösung, die über die Zeit zu bewerten ist: die Überwachung einrichten, die das erzielte mit dem erwarteten Ergebnis vergleicht.
• Strategisches Ziel, das steuerbar werden soll: Zwecke, Ziele, Aktivitäten und Ressourcen über regelmässig gespeiste Indikatoren verbinden.
• Change-Dossier, das zu untermauern ist: die bezifferte Baseline der aktuellen Leistung erheben, bevor die Investition ausgelöst wird.
• Service-Vereinbarung oder Programm, das zu überwachen ist: die vereinbarten Schwellen in erhobene und berichtete Zielwerte überführen.
• Laufende Prozessverbesserung: das Vorher und Nachher instrumentieren, um den tatsächlichen Gewinn festzustellen.
• Wiederkehrendes Reporting, das einzuführen ist: das Verfahren einmal festlegen (Vorlagen, Empfänger, Frequenz), statt für jedes Gremium Zahlen zusammenzutragen.

Wann nicht einzusetzen

• Kein strategisches Ziel formuliert: nichts unterscheidet eine Schlüsselkennzahl von einer beliebigen anderen Zahl, zuerst die Strategieanalyse durchführen, die Zwecke und erwartete Ergebnisse festlegt.
• Messung zur Benotung von Personen: sie wird zulasten nicht gemessener Tätigkeiten gespielt, den Indikator der Steuerung des Systems vorbehalten und die individuelle Beurteilung einem Zielgespräch überlassen.
• Datenquelle fehlt oder ist unerschwinglich: das System liefert erfundene Zahlen, den Umfang auf Indikatoren beschränken, deren Daten vorhanden sind, oder einen Proxy bauen, bevor eine Primärerhebung ausgelöst wird.

Ein an eine Strategie gebundener Indikator

Das Wort «Key» bindet den Indikator an ein strategisches Ziel. Das BABOK behält den Begriff KPI einem Indikator vor, der den Fortschritt auf ein strategisches Ziel hin misst, und diese Anforderung der Bindung schliesst die meisten Zahlen aus, die man im Alltag verfolgt. Die Auslastung eines Terminkalenders ist eine nützliche operative Kennzahl, sie wird erst dann zum KPI, wenn sie an ein strategisches Ziel gebunden ist, für das sie ein Hebel ist. Das ist die Arbeit, die die Balanced Scorecard von Kaplan und Norton formalisiert hat: Indikatoren an finanzielle, kundenbezogene, prozessuale und lernbezogene Ziele zu binden, damit keine verfolgte Zahl ohne Bezug zu einer Absicht schwebt. Ein Messsystem, das diese Bindung nicht vollzogen hat, misst Tätigkeit, nicht Leistung.

Die vier Bausteine des Systems

Das BABOK hält fest, dass der Aufbau eines Systems zur Überwachung und Bewertung vier Dinge verlangt: ein Erhebungsverfahren, ein Analyseverfahren, ein Reporting-Verfahren und die Erhebung einer Baseline. Diese vier Bausteine sind der Kern der Technik, und es ist ihre Gestaltung, die entscheidet, ob das System trägt.

Das Erhebungsverfahren

Es legt sechs Punkte fest: die Analyseeinheiten (was gezählt wird, ein Patient, eine Behandlungsserie, ein Termin), das Stichprobenverfahren, wenn nicht alles gemessen wird, die Erhebungsinstrumente, die Frequenz und die Verantwortung für die Erhebung, also wer sie durchführt. Die Erhebungsmethode ist der erste Kostenposten des ganzen Systems: ein bereits von einem System erfasstes Datum ist nahezu gratis, eine Umfrage oder eine direkte Beobachtung kostet. Diese Abwägung erfolgt, bevor der Indikator übernommen wird, denn ein ausgezeichneter, aber nicht erhebbarer Indikator ist nichts wert.

Das Analyseverfahren

Es legt die auf die Rohdaten angewandten Aufbereitungen fest und, ebenso wichtig, den Abnehmer der Analyse, der oft ein ausgeprägtes Interesse daran hat, wie sie geführt wird. Dieselben Daten zu verpassten Terminen werden unterschiedlich analysiert, je nachdem, ob der Empfang dimensioniert oder eine Last auf die Therapeuten verteilt werden soll, und die Wahl der Methode ist nie neutral. Den Abnehmer vorab zu benennen verhindert, dass die Analyse in jedem Gremium je nach Stimmung des Augenblicks neu gemacht wird.

Das Reporting-Verfahren

Es umfasst die Berichtvorlagen, die Empfänger, die Frequenz und das Kommunikationsmittel. Der Bericht vergleicht typischerweise die Baseline, den aktuellen Wert und den Zielwert, mit der Abweichung in absoluten und relativen Zahlen. Zwei Grundsätze des BABOK bestimmen die Form: der Trend wiegt schwerer als der absolute Wert, und die visuelle Darstellung schlägt die reine Tabelle, besonders begleitet von einem Text, der erklärt, was die Zahlen zeigen.

Die Baseline

Die Baseline ist der Messwert, der unmittelbar vor oder zu Beginn der zu messenden Periode erhoben wird. Sie dient zweimal: die jüngste Leistung zu kennen und den Fortschritt ab diesem Punkt zu messen. Sie wird für jeden Indikator erhoben, analysiert und berichtet, ohne Ausnahme, andernfalls bleibt eine aktuelle Zahl unlesbar, weil nichts sagt, wovon sie ausgeht.

Drei Qualitäten der Daten

Das BABOK beurteilt die Qualität der Indikatoren und ihrer Metriken nach drei Kriterien. Die Zuverlässigkeit ist die Stabilität und Beständigkeit der Erhebung über Zeit und Raum: eine Zugangszeit, die dieses Jahr in Arbeitstagen und im nächsten in Kalendertagen gezählt wird, ist nicht zuverlässig. Die Validität ist der Grad, in dem die Daten die angestrebte Leistung direkt messen: eine hohe Auslastung ist nur dann ein Zeichen von Gesundheit, wenn sie die Tragfähigkeit abbildet statt bloss die Füllung. Die Aktualität ist die Passung von Frequenz und Latenz des Datums zum Entscheidungsbedarf: ein richtiges Datum, das nach der Entscheidung eintrifft, nützt nichts.

Den Indikator wählen und den Zielwert setzen

Ein guter Indikator hat im BABOK sechs Eigenschaften: klar (eine einzige Lesart), relevant (dem Anliegen angemessen), wirtschaftlich (vertretbare Kosten), angemessen (ausreichende Grundlage zur Beurteilung), quantifizierbar (unabhängig überprüfbar) und verlässlich und glaubwürdig (auf Belegen gegründet). Sie stehen einander oft entgegen, und die Abwägung ergibt bisweilen einen Proxy, einen Ersatz, der verwendet wird, wenn sich der Faktor nicht direkt messen lässt oder seine direkte Erhebung zu aufwendig ist. Mangels einer Zufriedenheitsumfrage nimmt eine Praxis den Anteil zu Ende geführter Behandlungsserien als Proxy für das klinische Ergebnis. Der Proxy ist ein bewusst eingegangener Kompromiss, und seine Schwäche muss dem bekannt sein, der die Zahl liest.

Die Zielmetrik ist das in einer festgelegten Frist zu erreichende Ziel. Sie zu setzen verlangt eine klare Baseline, eine Vorstellung der mobilisierbaren Ressourcen und die Berücksichtigung der politischen Interessen. Ein gut geformter Zielwert ist spezifisch, messbar und zeitlich begrenzt, was Doran unter SMART zusammengefasst hat. Er nimmt die Form eines Punkts, einer Schwelle oder einer Spanne an, wobei Letztere nützlich ist, solange der Indikator neu und sein Verhalten wenig bekannt ist. Ein vorlaufender Indikator misst eine Ursache im Vorfeld (die Zugangszeit kündigt die kommende Marge an), ein nachlaufender Indikator misst ein erreichtes Ergebnis (die Marge eines abgeschlossenen Monats): ein nützliches System mischt beide, sonst erzeugt es ein Notenblatt statt eines Hebels.

Warum ein Messsystem scheitert

Die Grenzen, die das BABOK nennt, liegen im System.

Es erhebt zu viel

Mehr Daten als nötig zu sammeln kostet bei Erhebung, Analyse und Reporting und lenkt das Team ab. Das BABOK vermerkt, dass diese Neigung besonders agile Projekte bedroht. Der Test ist einfach: führt ein Indikator zu keiner Entscheidung, die wirklich getroffen wird, verlässt er das System.

Es koppelt nicht zurück

Ein bürokratisches Programm scheitert daran, viel zu sammeln und wenig nützliche Berichte zur rechten Zeit zu liefern. Wer die Daten erfasst, muss eine Rückmeldung darüber erhalten, was seine Arbeit am Ergebnis ändert, sonst verschlechtert sich die Qualität der Erfassung und das System verliert seine Substanz.

Es wird gegen die Personen gewendet

Wenn eine Metrik zur Benotung Einzelner dient, optimieren diese das Mass zulasten nicht gemessener Tätigkeiten: das ist das Gesetz von Goodhart, wie es Strathern formuliert hat, ein Mass, das zum Ziel wird, hört auf, ein gutes Mass zu sein. Eine Praxis, die ihre Therapeuten allein an der Auslastung benotete, sähe sie kurze Sitzungen bevorzugen, zulasten der schweren Fälle, die das Ergebnis ausmachen. Der Schutz liegt in der Gestaltung: das kollektive Ergebnis messen, Indikatoren kreuzen, die einander kontrollieren, und die Steuerung des Systems von der Beurteilung der Personen trennen.

KI-Überlegungen

Die KI dient vor allem dazu, das System zu entwerfen. Aus einem formulierten Ziel schlägt ein Modell eine erste Liste von Indikatoren, ihre Formeln, ein Gerüst eines Erhebungsverfahrens und eine Berichtsvorlage vor, von der man wie von einem zu widerlegenden Entwurf ausgeht. Beim Datenfluss ist sie stark: Erkennung von Anomalien und Brüchen in einer Reihe, Aufspüren einer Trendabweichung und Verfassen des qualitativen Kommentars, der ein Diagramm begleitet. Der Diff von einem Bericht zum nächsten, mechanisch und vollständig, ist genau die Wachsamkeit, die die menschliche Durchsicht auf Dauer verliert.

Drei Entscheidungen bleiben menschlich. Ob ein Indikator ein Schlüsselindikator ist, ist ein Urteil über seine Bindung an die Strategie, oft politisch. Der Zielwert hängt von der realen Baseline und den Ressourcen ab: ein Modell schlägt eine plausible Zahl vor, keine erreichbare. Und die KI, die auf die Optimierung einer Metrik angesetzt wird, ist das Gesetz von Goodhart im Maschinentempo, ein System, das lernt, eine Zahl zu maximieren, findet die Abkürzung, die sie aufbläht, ohne dem Ziel zu dienen, was dem Analysten die Wahrung der Validität überlässt. Die Sensibilität der Daten gebietet Vorsicht: Löhne oder Gesundheitsdaten im Sinne des nDSG gehen nicht in ein Allzweckmodell.

Beispiele

Der Fall ist eine Physiotherapiepraxis im Kanton Waadt, drei Therapeuten, deren strategisches Ziel des Jahres darin besteht, raschen Zugang und zu Ende geführte Behandlungen zu bieten und dabei tragfähig zu bleiben. Das System behält fünf Indikatoren. Drei sind an dieses Ziel gebunden, also KPI, und zwei sind vorlaufende operative Indikatoren, die sie steuern. Die Definitionstabelle ist der erste Baustein des Systems: sie legt für jeden Indikator seine Formel, seine Quelle, seine Kadenz und seine Erhebungsverantwortung fest, noch bevor ein Wert abgelesen wird.

Das Reporting ist der Baustein, den das System in jeder Periode erzeugt. Es stellt drei Spalten nebeneinander, Baseline, aktueller Wert und Zielwert, und beziffert die Abweichung zweimal, in absoluten und relativen Zahlen, um das Ausmass der Bewegung und den noch verbleibenden Teil des Wegs lesbar zu machen.

Kosten

Werkzeuge

Die Tabellenkalkulation beherbergt ein kleines System ehrlich, und dort lebt die Mehrheit der realen Dashboards. Visualisierungs- und Reporting-Werkzeuge (Power BI, Tableau, Grafana, Metabase) tragen das Reporting-Verfahren, sobald mehrere Quellen zu konsolidieren, Trends nachzuzeichnen und eine Schwelle zu alarmieren sind. Die Quellsysteme (Terminplanung, ERP, Buchhaltung, Ticketing, CRM) halten die Rohdaten, und ein Data Warehouse wird nützlich, wenn ein Indikator mehrere davon kreuzt.

Für den strategischen Baustein geben Balanced-Scorecard- oder OKR-Werkzeuge der Kette Zweck-Ziel-Indikator Gestalt, die aus einem Indikator einen KPI macht. Für die Datenqualität dient eine statistische Regelkarte (SPC) unmittelbar der Zuverlässigkeit und der Trendlesung, indem sie eine normale Schwankung von einem realen Bruch trennt. Die Wahl des Werkzeugs folgt der Gestaltung des Systems: ein schönes Werkzeug, an unscharfe Verfahren angeschlossen, erzeugt ein Dashboard, das niemand mit einer Entscheidung verbindet.

Quellen

• IIBA, A Guide to the Business Analysis Body of Knowledge (BABOK Guide) v3, §10.28 Metrics and Key Performance Indicators (KPIs): die Unterscheidung Indikator / Metrik / KPI / Reporting, die vier Bausteine des Systems zur Überwachung und Bewertung, die sechs Eigenschaften eines Indikators, die drei Qualitäten der Daten, seine Stärken und seine Grenzen.
• ISO 22400-1:2014, Key performance indicators for manufacturing operations management, Part 1: der begriffliche Rahmen und die Terminologie, die den Begriff des KPI formalisieren.
• ISO 22400-2:2014, Part 2, Definitions and descriptions: die Definition eines KPI über seine Formel, seine Elemente, sein zeitliches Verhalten und seine Einheit, die Referenz zur Strukturierung eines Indikators.
• Doran, G. T. (1981), There's a S.M.A.R.T. Way to Write Management's Goals and Objectives: der Ursprung der SMART-Kriterien hinter der spezifischen, messbaren und zeitlich begrenzten Zielmetrik.
• Kaplan, R. S. & Norton, D. P. (1992), The Balanced Scorecard, Measures That Drive Performance: die Verbindung zwischen Indikatoren und strategischen Zielen, das, was aus einem Indikator einen Schlüsselindikator macht.
• Strathern, M. (1997), Improving Ratings: Audit in the British University System: die moderne Formulierung des Gesetzes von Goodhart, der Anker für die Grenze zum Spielen und zur Suboptimierung von Messgrössen.