Delphi-Methode

Ziel

Die Delphi-Methode gewinnt aus einem Panel von Fachleuten eine Schätzung, die das gesamte verfügbare Wissen nutzt, ohne von der Gruppendynamik verdorben zu werden, die eine offene Schätzsitzung beeinträchtigt. Sie dient den Entscheidungen, die eine Zahl verlangen, welche keine Berechnung liefern kann: keine vergleichbare Vorgeschichte, an der sich ein Modell eichen liesse, keine parametrische Grundlage, aus der sich ein Wert ableiten liesse, die einzige Informationsquelle ist das Wissen einiger weniger Fachleute, die sich nicht einig sind. Eine einzelne Fachperson zu befragen ergibt eine fragile Zahl, abhängig vom eigenen Blickwinkel. Die Fachleute in einen Raum zu setzen ergibt etwas anderes, eine Zahl, gefärbt vom Rang jeder Person, von der zuerst laut ausgesprochenen Summe und von der Bequemlichkeit, mit der Gruppe zu gehen.

Die Entscheidung, die sie stützt, ist eine Festlegung unter Unsicherheit und ohne harte Daten: ein Kostenwert, ein Aufwand in Personentagen, eine Dauer, eine zu prognostizierende Menge, bei einer Initiative, die neu genug oder umstritten genug ist, dass eine aus dem Stegreif genannte Zahl vor einem Lenkungsausschuss nicht standhält. Delphi ordnet dieses Urteil. Sie erhebt die Schätzungen getrennt, meldet dem Panel zurück, was die Gruppe hervorgebracht hat, ohne Identitäten preiszugeben, und lässt die Zahlen über mehrere Runden konvergieren. Sie erzeugt eine Zahl samt ihrer Streuung und samt der Aufzeichnung der Meinungsverschiedenheiten, die sie geformt haben.

Das Ergebnis ist eine konvergierte Gruppenschätzung, ausgedrückt durch einen zentralen Wert, den Median der Schätzungen der letzten Runde, und durch ein Streuungsmass, den Interquartilsabstand, der angibt, wie weit sich das Panel geeinigt hat. Hinzu kommt die Spur des Wegs: die Statistik jeder Runde und die Begründungen der extremen Positionen, die zeigen, warum sich die Gruppe bewegt hat, und die Schätzung nachvollziehbar machen. Delphi ist eine der Methoden der Familie der Schätzung, jene, zu der man greift, wenn das Urteil von Fachleuten der einzige Rohstoff ist und eine einzelne Fachperson nicht genügt.

Einsatz

Wann einsetzen

• Fachleute verstreut oder entfernt: schriftliche, asynchrone Runden dort, wo ein Workshop nicht alle zusammenbringt.
• Rang oder Politik würden die offene Debatte verzerren: Anonymität lässt eine Nachwuchskraft einer Führungsperson widersprechen, ohne dafür zu bezahlen.
• Hohes Anker- oder Mitläuferrisiko: die Schätzungen der ersten Runde entstehen, bevor jemand eine Gruppenzahl gesehen hat.
• Keine historische oder parametrische Grundlage: das Urteil von Fachleuten ist der einzige Input, und eine einzelne Fachperson ist zu fragil.
• Schätzung mit hohem Einsatz oder umstritten: eine neuartige Initiative oder ein umstrittenes Budget rechtfertigt den Aufwand mehrerer Runden.

Wann nicht einsetzen

• Offene Auseinandersetzung ist machbar: ein moderierter Workshop oder eine Runde Planning Poker erreicht den Konsens schneller und günstiger.
• Günstige oder dringende Entscheidung: eine Grössenordnung (ROM) oder ein einzelner PERT-Durchgang genügt.
• Kein echter Expertenpool oder ein Panel mit einem gemeinsamen blinden Fleck: über die parametrische Schätzung oder eine analoge Schätzung auf Daten stützen.

Beschreibung

Die vier Merkmale, die die Technik definieren

Delphi ist ein wiederholtes Verfahren, das auf vier Merkmalen beruht, die Rowe und Wright als den allen Varianten gemeinsamen Kern herausarbeiten: Anonymität, Iteration, kontrollierte Rückmeldung der Gruppenantwort und statistische Aggregation der einzelnen Antworten. Entfernt man eines der vier, ändert sich die Natur der Übung.

Anonymität ist der Daseinsgrund der Technik. Die Fachleute antworten getrennt, und niemand ausser dem Koordinator weiss, wer welche Zahl vorgebracht hat. Das ist es, was Autorität, Schüchternheit und Mitläufereffekt neutralisiert: eine Schätzung wird durch ihr Argument verteidigt. Iteration ordnet mehrere aufeinanderfolgende Runden an, denn eine Fachperson, die ein zuvor unbekanntes Argument entdeckt, hat das Recht, die Meinung zu ändern, und dieses Recht verweigert eine einzige Sitzung. Kontrollierte Rückmeldung ist der Inhalt, den der Koordinator zwischen zwei Runden zurückgibt: die Gruppenstatistik und die für die extremen Schätzungen angeführten Gründe, niemals die Identität ihrer Urheber. Statistische Aggregation schliesslich fasst die Antworten einer Runde zu einem zentralen Wert und einer Streuung zusammen, sodass die Gruppe sieht, wo sie steht, ohne dass eine einzelne Stimme den Bericht beherrscht.

Der Rundenzyklus

Man beginnt damit, genau zu definieren, was geschätzt wird und in welcher Einheit, denn ein Panel, das leicht unterschiedliche Fragen beantwortet, konvergiert nie. Dann kommt die erste Runde: jede Fachperson liefert ihre Schätzung unabhängig ab, ohne die der anderen oder irgendeine Referenzzahl gesehen zu haben, was sicherstellt, dass der Ausgangspunkt nicht bereits verankert ist. Der Koordinator berechnet dann den Median und den Interquartilsabstand der Runde und sammelt die Begründungen für die höchsten und die tiefsten Schätzungen. Er gibt dem Panel diese kontrollierte Rückmeldung zurück, das Paar aus Median und Streuung samt den Argumenten, ohne je zu sagen, wer was gesagt hat. In der nächsten Runde überarbeitet jede Fachperson ihre Zahl im Licht dieser Argumente oder hält ihre Position mit einer Begründung. Das wiederholt sich bis zu einer im Voraus festgelegten Abbruchregel: ein erreichter Streuungsschwellenwert oder eine vereinbarte Rundenzahl, typischerweise zwei oder drei. Die Konvergenz liest man am Interquartilsabstand ab, der sich von einer Runde zur nächsten verengt. Das Panel zählt in der Regel fünf bis etwa zwanzig Fachleute, ausgewählt eher nach der Vielfalt ihres Wissens als nach ihrer Zahl: eine Meinungsverschiedenheit zwischen unterschiedlichen Fachkenntnissen ist es, was die Methode arbeiten lässt.

Die Gruppenstatistik: Median und Interquartilsabstand

Delphi schreibt keine Rechenformel vor: die Zahl kommt von den Fachleuten. Festgelegt ist die Art, eine Runde zusammenzufassen. Die kanonische Statistik ist der Median, nicht der Mittelwert. Der Grund liegt darin, dass die Technik darauf angelegt ist, die extremen Schätzungen zutage zu fördern: eine Fachperson, die ein von den anderen übersehenes Risiko sieht, wird eine weit abliegende Zahl vorschlagen, ein wertvolles Signal. Ein Mittelwert lässt sich von dieser einzelnen Zahl ziehen und verschiebt die Gruppenzusammenfassung zu einem Punkt, den fast niemand vertritt; der Median widersteht diesem Extrem und lässt es zugleich in der Debatte weiterleben. Die Streuung misst der Interquartilsabstand, der Abstand zwischen dem ersten und dem dritten Quartil, also die Spanne der mittleren Hälfte der Antworten. Ein Interquartilsabstand, der über die Runden schrumpft, ist die operative Definition der Konvergenz, und er sagt mehr aus als ein Median, der stabil bleiben kann, während sich die Gruppe um ihn herum zusammenzieht.

Woran die Übung scheitert

Die erste Falle ist die gravierendste, weil sie den Erfolg nachahmt. Erzwungener Konsens besteht darin, den Interquartilsabstand zu verkleinern, indem man die extremen Meinungen drängt, sich einzureihen. Man erhält dann eine zentrale Tendenz ohne echte Übereinstimmung: Konvergenz ist ein Signal, niemals ein herzustellendes Ziel. Ein Koordinator, der die Widerstrebenden bedrängt, erzeugt eine enge und falsche Zahl und zerstört die Information, die die Runden sammeln sollten.

Die zweite ist die Homogenität des Panels. Eine Gruppe, die gleich denkt, konvergiert schnell, und sie konvergiert auf ihrem gemeinsamen Irrtum: die Geschwindigkeit der Verengung ist nur dann beruhigend, wenn die versammelten Fachkenntnisse unterschiedlich sind. Die dritte ist die Verzerrung durch den Koordinator. Da er allein wählt, welche Begründungen an die Gruppe zurückgehen, lenkt er das Panel durch das, was er hervorhebt oder verschweigt. Die Rückmeldung muss getreu sein, auch bei den Argumenten, die den Median stören, sonst verbreitet die Methode bloss die Meinung ihres Moderators. Die vierte ist die Abwanderung: über mehrere asynchrone Runden steigen Fachleute aus, und das Aggregat der letzten Runden beruht auf einem verkleinerten und mitunter durch die Verbliebenen verzerrten Panel. Die fünfte ist das Fehlen einer Abbruchregel. Ohne im Voraus festgelegten Streuungsschwellenwert oder vereinbarte Rundenzahl zieht sich die Übung nach der Geduld des Koordinators hin oder endet auf einer willkürlichen Runde, und die Entscheidung zu schliessen wird selbst zu einer Quelle der Verzerrung.

Das formale Verfahren und sein zufälliges Gegenstück

Das vollständige Delphi-Protokoll, seine nummerierten Runden, sein Koordinator und seine schriftliche Abbruchregel, läuft ausserhalb von Vorausschau-Übungen und institutionellen Expertenpanels selten in dieser Form ab. Weit häufiger begegnet man einer abgeschwächten Variante, die sich zufällig einstellt. In einer Organisation, in der die Teams in Silos arbeiten, beziffern mehrere Personen dieselbe Sache je für sich, ohne miteinander zu sprechen, und die Anonymität, die den Wert der Methode ausmacht, stellt sich ein, ohne dass jemand sie gewollt hätte. Das Ergebnis sieht aus wie eine erste Delphi-Runde, mit ihren unabhängigen und nicht verankerten Schätzungen, und dort hört es auf. Die Aggregation zu einem Median und einem Interquartilsabstand, die kontrollierte Rückmeldung, die die Argumente der extremen Positionen in Umlauf bringt, und die Runden, die die Streuung verengen, bleiben ausstehend. Man behält eine Wolke von Zahlen, die nie gegeneinander gehalten wurden und die man fälschlich für eine Schätzung nimmt.

Die praktische Folge besteht aus zwei Schritten. Dieses unfreiwillige Delphi als das zu erkennen, was es ist, bewahrt vor dem Glauben, es gebe bereits eine gemeinsame Zahl, wo man nur parallele Meinungen hat. Es zu vervollständigen kostet wenig, denn das Schwierigste, unabhängige Schätzungen zu gewinnen, ist bereits getan: es bleibt, die Runde durch ihren Median und ihre Streuung zusammenzufassen, dem Team die Gründe für die extremen Positionen ohne die Identitäten zurückzugeben und eine zweite Runde durchzuführen. Die Methode beginnt in dem Moment, in dem Menschen, die einander ignorierten, ihre Zahlen nach einer Regel gegeneinander halten.

KI-Überlegungen

Die mechanische Last des Koordinators ist der Ort, an dem ein Assistent am meisten nützt. Die Schätzungen einer Runde aggregieren, den Median und den Interquartilsabstand berechnen, die Verengung der Streuung Runde um Runde verfolgen, all das ist Rechnen ohne Urteil, das ein Modell oder auch eine Tabellenkalkulation fehlerfrei ausführt. Über das Rechnen hinaus hilft ein Sprachmodell, die Freitextbegründungen zu verarbeiten: sie nach Thema gruppieren, die Argumente der extremen Positionen getreu zusammenfassen, eine lesbare Rückmeldung für die nächste Runde vorbereiten und melden, wann die Streuung nicht mehr abnimmt, also wann die Abbruchregel naht. Das ist ein echter Gewinn, denn die sorgfältige Rückmeldung ist der zeitraubende Teil der Moderation und der Teil, von dem die Qualität der nächsten Runde abhängt.

Was ein Modell nicht leisten kann, liegt in der Natur der Technik selbst. Ein Sprachmodell ist kein Panelmitglied. Eine Schätzung, die es hervorbrächte, hat keine Praxiserfahrung hinter sich, und sie führt die Verzerrung wieder ein, die Delphi beseitigen soll: sie spiegelt den Konsens ihrer Trainingsdaten, eine massive und unsichtbare Verankerung an dem, was bereits geschrieben steht. Die Wahl des Panels, das Lesen, warum eine abweichende Fachperson ihre Position hält, und vor allem die Unterscheidung zwischen ehrlicher und erzwungener Konvergenz bleiben menschliche Urteile. Schliesslich sind die einzelnen Schätzungen und Begründungen Personendaten im Sinne des revidierten Datenschutzgesetzes (revDSG) und können politisch heikel sein: die Anonymität, die der Methode ihren ganzen Wert verleiht, muss jedes aggregierende Werkzeug überstehen, weshalb namentliche Antworten nicht in einen öffentlichen Dienst gehören, dessen Datenverarbeitung nicht beherrscht wird.

Beispiele

Eine Krankenkasse in der Westschweiz schätzt den Aufwand, in Personentagen, für den Bau eines neuen Online-Portals zur Einreichung von Leistungsabrechnungen. Fünf erfahrene Analystinnen, Analysten und Architekten sitzen in verschiedenen Büros, was einen synchronen Workshop erschwert, und das Projekt hat kein historisches Analogon, an dem sich ein Modell eichen liesse, was die parametrische Schätzung ausschliesst. Drei anonyme Runden werden durchgeführt; die Fachleute sind mit E1 bis E5 bezeichnet, und der Median und der Interquartilsabstand werden in jeder Runde nach einer einzigen, konstant gehaltenen Konvention berechnet, das erste Quartil als zweitgereihter Wert und das dritte als vierter.

Alles hängt am Kontrast zwischen Median und Interquartilsabstand. Der Median bewegt sich kaum, von neunzig auf hundert Personentage, und wer nur ihn betrachtet, hielte die erste Runde für beinahe richtig. Was sich ändert, ist der Interquartilsabstand, der von 45 auf 10 fällt: in der ersten Runde war das Panel zerstreut, von sechzig bis zweihundert Personentagen, und in der dritten liegt die mittlere Hälfte der Antworten innerhalb von zehn Tagen. Der Motor der Verengung ist die Rückmeldung. E5 legte, indem er seine sehr hohe Zahl begründete, ein Datenmigrationsrisiko offen, das die anderen nicht beziffert hatten; das Argument, anonym zurückgegeben, zog E1, E2 und E3 nach oben, während E5, der das Risiko als ernst, aber begrenzt erkannte, nach unten korrigierte. Die Konvergenz wurde nicht erzwungen, sie kam aus der Information, die zirkulierte, ohne dass der Rang irgendjemandes ins Gewicht fiel. Die festgelegte Zahl ist der Median der letzten Runde, hundert Personentage, getragen von ihrer Reststreuung.

Visualisierungen

Die Technik bringt zwei Objekte hervor, und jedes verlangt sein eigenes Medium. Das erste ist die Konvergenztabelle: aus Zeilen und Spalten gemacht, ist sie das Ergebnis selbst, und ihre Zeilen für Median und Interquartilsabstand sind das, was ein Prüfer nachrechnet, um zu prüfen, ob die Konvergenz echt ist. Sie bleibt in HTML, auswählbar und nachrechenbar, statt zu einem Bild eingefroren zu werden.

Das zweite ist das Verfahren selbst, das man besser gezeichnet als beschrieben sieht. Die Zeichnung trägt den Rundenzyklus: den Fragebogen, die anonymen Einzelschätzungen, die Aggregation zu Median und Interquartilsabstand, die kontrollierte Rückmeldung, die die Statistik und die Argumente der extremen Positionen zurückgibt, dann die überarbeiteten Schätzungen, mit einer Rückschleife, solange die Abbruchregel nicht erreicht ist. Sie zeigt auf einen Blick, was eine Liste von Merkmalen nur benennt: dass Anonymität und Rückmeldung zwei Seiten derselben Schleife sind, wiederholt bis zur Konvergenz.

Aufwand

Werkzeuge

Ein einfaches Online-Formular gekoppelt mit einer Tabellenkalkulation genügt für ein Panel aus einigen Fachleuten: das Formular erhebt die Schätzungen getrennt und wahrt die Anonymität gegenüber dem Panel, die Tabellenkalkulation berechnet Median und Interquartilsabstand jeder Runde in wenigen Zellen und spielt die Berechnung neu, sobald sich ein Wert ändert. Für die meisten Schätzungen ist nichts weiter nötig.

Dedizierte Delphi-Plattformen automatisieren den Zyklus, wenn das Panel gross ist oder die Runden häufig sind: sie übernehmen den Versand der Fragebogen, die Anonymisierung, die automatische Aggregation und die Darstellung der Rückmeldung, und einige führen ein Echtzeit-Delphi, bei dem sich die Rückmeldung fortlaufend aktualisiert, was den Zeitplan verkürzt, um den Preis einer feineren Kontrolle darüber, wie die Statistik dargestellt wird. Dieser zusätzliche Werkzeugaufwand rechtfertigt sich, wenn die Grösse des Panels oder die Häufigkeit der Übungen die manuelle Führung unhandhabbar macht; darunter fügt er eine Lizenz hinzu, ohne etwas beizutragen, was ein Formular und eine Tabellenkalkulation nicht schon leisten. Welches Werkzeug auch immer, der nicht verhandelbare Punkt ist, dass Anonymität und die Treue der Rückmeldung nie von der Bequemlichkeit der Plattform abhängen.

Quellen

• N. C. Dalkey und O. Helmer, «An Experimental Application of the Delphi Method to the Use of Experts», Management Science, 9(3), 1963, S. 458-467: die erste offene Publikation der bei der RAND Corporation entwickelten Methode, die das Gewinnen eines verlässlichen Konsenses durch eine Reihe von Fragebogen mit kontrollierter Meinungsrückmeldung darlegt.
• G. Rowe und G. Wright, «Expert Opinions in Forecasting: The Role of the Delphi Technique», in J. S. Armstrong (Hrsg.), Principles of Forecasting, Kluwer, 2001, S. 125-144: die methodische Konsolidierung, die die vier konstitutiven Merkmale herausarbeitet (Anonymität, Iteration, kontrollierte Rückmeldung, statistische Aggregation), die Grösse und Vielfalt des Panels und den Inhalt der Rückmeldung zwischen den Runden.
• IIBA, A Guide to the Business Analysis Body of Knowledge (BABOK Guide) v3, §10.19 Estimation: die beschreibende Einordnung der Delphi-Methode unter die Schätzmethoden auf der Grundlage von Expertenurteilen. Das BABOK verortet die Technik in dieser Familie und schreibt ihr Verfahren nicht vor, das auf den Arbeiten von Dalkey und Helmer sowie von Rowe und Wright beruht.