Akzeptanz- und Bewertungskriterien

Zweck

Akzeptanz- und Bewertungskriterien sind die Massstäbe, die das Urteil über eine Lösung für Dritte überprüfbar machen. Sie beantworten zwei Fragen. Liegt eine einzige Lösung auf dem Tisch, ist die Frage binär: Erfüllt sie die Bedingungen, die die Stakeholder für ihre Annahme gestellt haben? Sind mehrere Kandidaten im Rennen, ist die Frage vergleichend: Welcher bringt den grössten Wert und an welchen Massstäben zeigt sich das? Beide Verwendungen haben in einer einzigen Technik Platz, weil sie auf demselben Material aufbauen, den Wertattributen. Nur die Form der Bewertung ändert sich mit der Zahl der Kandidaten.

Die Technik liefert je nach Verwendung zwei Ergebnisse. Auf der Akzeptanzseite eine Liste überprüfbarer Aussagen, geknüpft an die Anforderungen oder User Stories, die sie qualifizieren, jede so formuliert, dass sie mit bestanden oder nicht bestanden endet, dazu die Aufzeichnung der Ergebnisse des Abnahmetests. Auf der Bewertungsseite eine Matrix, die die gewichteten Wertattribute mit den Lösungskandidaten kreuzt und deren jede Spalte in einer gewichteten Summe endet, dazu die Rangfolge, die daraus hervorgeht. Beide werden vor dem Gegenstand geschrieben, den sie beurteilen. Ein nachträglich geschriebenes Kriterium hält fest, was die Lösung ohnehin tut: Es kann nichts mehr durchfallen lassen.

Ihren Wert bezieht die Technik daraus, dass sie die Diskussion zeitlich nach vorne verschiebt. Ohne schriftliches Kriterium wird die Abnahme bei der Lieferung verhandelt, wenn das Budget ausgegeben ist und das Kräfteverhältnis gegen den spricht, der das Problem entdeckt. Mit schriftlichem Kriterium wird sie bei der Definition verhandelt, wenn die Korrektur einen Satz kostet. Dieselbe Verschiebung gilt für die Bewertung: Die Gewichte, die den Attributen zugeteilt werden, sind eine Aussage darüber, was die Organisation schätzt, und die Matrix legt sie fest, solange sie noch diskutierbar sind.

Anwendung

Wann einsetzen

• Vertragliche Verpflichtung: Abnahme und Zahlung hängen an einer schriftlichen Bedingung, die beide Parteien prüfen können.
• Abnahmetest vorzubereiten: Jede Anforderung muss zu einer Aussage werden, die mit bestanden oder nicht bestanden entschieden wird.
• Mehrere Lösungen zu unterscheiden: Standardsoftware, Entwurfsvarianten oder konkurrierende Angebote vergleichen sich an gemeinsamen Massstäben.
• Agiles Backlog vorzubereiten: Eine agile Methode kann verlangen, dass jede Anforderung in testbaren Kriterien ausgedrückt wird.
• Nichtfunktionale Anforderung zu qualifizieren: Ein Schwellenwert für Antwortzeit, Verfügbarkeit oder Datenmenge macht sie überprüfbar.
• Prioritäten zwischen unterschiedlichen Bedürfnissen zu setzen: Gemeinsame Massstäbe ordnen Forderungen, die sonst nichts vergleichbar machte.

Wann nicht einsetzen

• Bedürfnis noch in Erkundung: keine stabile Aussage, die überprüfbar zu machen wäre, das Bedürfnis zuerst im Workshop abstecken.
• Wahl von Unsicherheit beherrscht: der Wert der Kandidaten hängt an künftigen Ereignissen, über die Entscheidungsanalyse gehen, die das Risiko behandelt.

Beschreibung

Das beiden Verwendungen gemeinsame Material ist das Wertattribut. Das BABOK definiert es als ein Merkmal einer Lösung, das ihren Wert für die Stakeholder bestimmt oder wesentlich beeinflusst. Es beschreibt es als eine Zerlegung des Wertversprechens in seine Bestandteile, auf die sich die Stakeholder geeinigt haben. Der Leitfaden nennt dazu sechs Beispielfamilien: die Fähigkeit, bestimmte Informationen zu liefern, die Fähigkeit, bestimmte Vorgänge auszuführen oder zu unterstützen, Leistungs- und Reaktionsmerkmale, die Anwendbarkeit der Lösung in bestimmten Situationen und Kontexten, die Verfügbarkeit bestimmter Funktionen und Fähigkeiten sowie Usability, Sicherheit, Skalierbarkeit und Zuverlässigkeit. Die Verantwortung dafür, dass die Definition jedes Attributs von allen Stakeholdern getragen wird, legt es dem Business Analyst auf.

Die Zahl der Lösungen im Spiel entscheidet über die Form, die die Bewertung annimmt. Ein einziger Kandidat verlangt einen Schwellenwert und ein binäres Urteil; mehrere verlangen eine Skala und eine Rangfolge. Die beiden Pfade gehen von denselben Attributen aus und trennen sich beim nächsten Schritt.

Die Wertattribute definieren

Die Attribute leiten sich aus dem Wertversprechen und aus den Geschäftszielen ab. Eine Liste, die aus dem Funktionskatalog eines Produkts abgeschrieben ist, führt die Bewertung auf das zurück, was dieses Produkt kann, was seinen Anbieter bevorteilt. Eine Matrix hält sich an wenige Attribute, in den meisten Fällen vier bis acht: bei mehr wird jedes Gewicht zu klein, um zu wiegen, und die Matrix addiert Rauschen.

Jedes Attribut erhält eine schriftliche Definition, die sagt, wie es gemessen wird. Das Wort „Usability“ entscheidet nichts, solange die Definition weder die Aufgabe noch das Nutzerprofil noch den Schwellenwert nennt. Ist die Lösung eine Software, liefert die Norm ISO/IEC 25010 ein Qualitätsmodell für Softwareprodukte, in dem Usability, Sicherheit, Skalierbarkeit und Zuverlässigkeit in messbare Merkmale und Teilmerkmale zerlegt sind, was es erspart, ihren Sinn in jedem Projekt neu zu erfinden. Die Entsprechung zu den Begriffen des BABOK ist nicht Wort für Wort: Die Ausgabe 2023 behandelt Usability unter dem Namen Interaktionsfähigkeit und ordnet die Skalierbarkeit den Teilmerkmalen der Flexibilität zu. Für eine Lösung, die keine Software ist, werden diese Definitionen von Fall zu Fall aufgebaut. Dieselben Attribute speisen die nichtfunktionalen Anforderungen, wo sie ihre Schwellenwerte bereits tragen. Das Glossar hält den Wortschatz fest, damit zwei Bewertende dasselbe Wort gleich lesen. Für Attribute, die kein Instrument direkt misst, verweist das BABOK auf Expertenurteil oder auf Bewertungstechniken.

Ein überprüfbares Akzeptanzkriterium schreiben

Ein Akzeptanzkriterium ist eine Aussage, von der sich feststellen lässt, ob sie wahr oder falsch ist. Das BABOK hält fest, dass Akzeptanzkriterien in testbarer Form ausgedrückt werden und dass die Prüfung oft über Abnahmetests läuft. Das kann verlangen, die Anforderung bis auf eine atomare Form zu zerlegen, damit ein Testfall geschrieben werden kann. Die Norm ISO/IEC/IEEE 29148 zählt die Überprüfbarkeit zu den Eigenschaften einer gut formulierten Anforderung, und ein nicht überprüfbares Kriterium lässt die Anforderung so ungenau wie zuvor.

Eine Zahlenschwelle qualifiziert eine nichtfunktionale Anforderung: Die monatliche Lohnberechnung ist in weniger als fünf Minuten abgeschlossen. Eine Abnahmeklausel qualifiziert eine vertragliche Verpflichtung: Obergrenze der Einführungskosten, Termin der Inbetriebnahme, geschuldetes Servicelevel. Ein in „angenommen, wenn, dann“ geschriebenes Szenario qualifiziert eine User Story, eine Form, die agile Teams verwenden, weil sie sich unmittelbar in einen Testfall übersetzt.

Die häufigste Falle ist das Kriterium, das die Anforderung umformuliert, ohne ihr etwas hinzuzufügen. „Das System verwaltet die Löhne“ wird erst überprüfbar, wenn die Eingabedaten, die Aktion und das erwartete Ergebnis festgelegt sind. Ein Kriterium ohne Schwellenwert wird bei der Lieferung entschieden, zugunsten dessen, der am lautesten spricht: „Das System ist schnell“ hält einem Anbieter nichts entgegen, der sein Produkt für schnell hält. Ein vom Anbieter geschriebenes Kriterium misst, was der Anbieter ohnehin kann. Am teuersten kommt das vertraglich eingefrorene Kriterium: Das BABOK hält Akzeptanzkriterien für notwendig, wenn Anforderungen vertragliche Verpflichtungen ausdrücken, und es merkt an, dass solche Kriterien eben deshalb aus rechtlichen oder politischen Gründen schwer zu ändern sein können. Ein unpassend gewordenes Kriterium wird über einen Nachtrag behandelt, im vertraglich vereinbarten Änderungsverfahren: Die festgestellte Abweichung wird mit ihrer Wirkung auf Preis und Termin dokumentiert, dann unterschreiben beide Parteien. Eine einseitige Neufassung bleibt ohne Wirkung auf das Geschuldete.

Ein Bewertungskriterium bauen

Ein Bewertungskriterium ist eine Skala. Das BABOK beschreibt es als einen Parameter, der auf einer stetigen oder diskreten Skala messbar ist und dessen Definition die Messung verschiedenen Methoden öffnet, darunter Benchmarking oder Expertenurteil. Der Leitfaden ergänzt, dass das Festlegen von Bewertungskriterien dazu führen kann, die Werkzeuge und die Anleitungen der Bewertung selbst zu entwerfen sowie die Art, ihre Ergebnisse festzuhalten und zu verarbeiten.

Drei Entscheidungen machen die Matrix, und alle drei fallen, bevor die Ergebnisse vorliegen. Die Wahl der Attribute sagt, worüber geurteilt wird. Die Gewichtung sagt, was am meisten zählt: Gewichte, deren Summe 1.00 ergibt, verteilen die Wichtigkeit und halten das Werturteil der Stakeholder fest. Lassen sich die Gewichte diskutieren, ohne zu konvergieren, leitet man sie über paarweise Vergleiche mit dem analytischen Hierarchieprozess ab, statt sie im Block auszuhandeln. Die Bewertungsskala, etwa von 1 bis 5, nennt ihre Richtung: Bei den Kosten geht die hohe Bewertung an das günstigste Angebot, und eine Matrix, die dazu schweigt, wird verkehrt herum gelesen.

Der gewichtete Wert einer Zelle ist das Gewicht multipliziert mit der Bewertung; die Summe eines Kandidaten ist die Summe seiner Spalte. Diese Summe ordnet die Kandidaten, ohne an ihrer Stelle zu entscheiden. Ein Abstand von wenigen Hundertsteln zwischen zwei Summen trägt bei Bewertungen von 1 bis 5 keine Gewissheit: Man prüft ihn, indem man das strittigste Gewicht um eine Stufe verschiebt und schaut, ob die Rangfolge hält.

Die häufigste Verzerrung ist die Gewichtung, die festgelegt wird, sobald die Bewertungen bekannt sind, um den Kandidaten wiederzufinden, den man ohnehin bevorzugte. Das Gegenmittel ist die Reihenfolge der Schritte: die Gewichte zuerst, in der Sitzung und offen, die Bewertungen danach. Die zweite Verzerrung ist die Ausschlussschwelle, die im Durchschnitt untergeht. Eine zwingende Bedingung, Datenhaltung in der Schweiz oder regulatorische Konformität, wird in der Vorauswahl gesetzt und schliesst den Kandidaten aus, der daran scheitert; unter die übrigen gewichtet, lässt sie sich durch gute Bewertungen anderswo ausgleichen und hört auf, zwingend zu sein.

Die Bewertungsmatrix teilt ihre Mechanik mit der Entscheidungsmatrix, in der die gewichtete Bewertung um ihrer selbst willen behandelt wird. Die Lieferantenbewertung wendet diese Mechanik auf die Wahl eines Dienstleisters an. Den Akzeptanz- und Bewertungskriterien eigen ist der Ausgangspunkt: Die Dimensionen der Matrix sind Wertattribute, die von den Stakeholdern getragen und aus dem Wertversprechen abgeleitet sind.

Die Technik durchführen

1. Das Wertversprechen zerlegen in einen kurzen Satz von Attributen und für jedes eine messbare Definition schreiben.
2. Diese Definitionen abstützen lassen bei allen betroffenen Stakeholdern, bevor daraus ein einziges Kriterium gezogen wird.
3. Die Lösungen im Spiel zählen, was über den Pfad entscheidet: Schwellenwert und Urteil bei einer einzigen, Skala und Rangfolge bei mehreren.
4. Akzeptanzpfad: jedes Attribut in überprüfbare Aussagen übersetzen, zerlegt, bis ein Testfall geschrieben werden kann.
5. Bewertungspfad: die Attribute offen gewichten, die Gewichte einfrieren, dann jeden Kandidaten anhand von Belegen bewerten.
6. Die Bewertung durchführen: Abnahmetest auf der einen Seite, Bewertung und Verdichtung auf der anderen.
7. Die Ergebnisse festhalten und sie an die Anforderungen knüpfen, die sie qualifizieren, damit die Spur die Lieferung überdauert.

KI-Betrachtungen

Die erste Verwendung, die sich lohnt, ist das Überführen in eine testbare Form. Aus einer in Prosa geschriebenen Anforderung zerlegt ein Sprachmodell diese in atomare Aussagen, schlägt für jede die Eingabedaten, die Aktion und das erwartete Ergebnis vor und markiert jene, die mangels Schwellenwert nicht überprüfbar bleiben. Es findet auch die Kriterien, die zwei enthalten und deren Aussage ein „und“ trägt, das das Urteil mehrdeutig macht, wenn die eine Hälfte besteht und die andere durchfällt. Auf einem Backlog liefert es einen ersten Durchgang von Szenarien in „angenommen, wenn, dann“, die das Team schneller korrigiert, als es sie schreiben würde.

Auf dem Bewertungspfad läuft der Gewinn über das Rechenwerkzeug. Ein Modell schreibt die Formel oder das Skript, das die gewichteten Summen neu berechnet, eine Spanne von Gewichten durchfährt und den Rang meldet, der beim ersten verschobenen Hundertstel kippt. Die Ausführung dieses Skripts sichert das Ergebnis; die Rechnung, die ein Modell im Kopf macht, bleibt unzuverlässig und wird nachgerechnet. Ein Modell liest auch die Matrix gegen, um darin zwei Attribute zu finden, die dasselbe messen, oder eine Skala, deren Richtung ihrer Beschriftung widerspricht.

Was die KI nicht tut, folgt aus der Natur der Technik. Sie legt die Gewichte nicht fest: Sie tragen das Werturteil der Stakeholder, und sie zu automatisieren nimmt genau das weg, was die Matrix explizit machen soll. Sie spricht die Abnahme nicht aus: Das Urteil verpflichtet den, der es fällt, und ein von einem Modell erzeugtes Bestanden verpflichtet niemanden. Sie kennt die stillschweigenden Bedingungen des Geschäfts nicht, jene, die eine Ausgleichskasse, eine Revisionsstelle oder eine Aufsichtsbehörde auch ohne schriftliche Fassung anwenden wird und die eine erfahrene Anwenderin in drei Minuten Interview nennt. Die Testdaten eines Lohnabnahmetests oder von Kundendossiers enthalten Personendaten: Sie gehen nicht in einen unbeherrschten Dienst eines Dritten, und das gewählte Werkzeug muss diese Daten gemäss dem Datenschutzgesetz (DSG) bearbeiten.

Beispiele

Ein Logistik-KMU im Kanton Waadt, vierunddreissig Mitarbeitende, ersetzt seine Lohnsoftware. Die Stakeholder haben sich auf vier Wertattribute geeinigt: Kosten, Funktionalität, Usability und Performance. Nach der Vorauswahl sind noch drei Angebote im Rennen.

Die Abstände sind knapp. A liegt nur zwanzig Hundertstel vor C, und sein Preisvorteil wird dort von seinem Funktionalitätsdefizit genau aufgehoben: Es ist die Usability, die es vor C bringt. Verschiebt man fünf Hundertstel von den Kosten zur Funktionalität, bleibt B bei 3.80, steigt C auf 3.65 und fällt A auf 3.55. Die Spitze hält, der Rest der Rangfolge dreht sich um. Ein Abstand, den eine Stufe Gewichtung umkehrt, misst die Gewichtung, bevor er die Angebote misst, und die Frage an die Entscheiderin wird die nach dem Gewicht, das sie dem Preis gibt. Mit dem Zuschlag an Angebot B werden dieselben vier Attribute in Abnahmebedingungen für den Abnahmetest umgeschrieben.

Dasselbe Attribut wechselt zwischen den beiden Tabellen seine Natur. In der Matrix wird eine schwache Bewertung ausgeglichen: B gewinnt trotz einer Performance von 3. Im Abnahmetest ersetzt der Schwellenwert die Skala und kein Durchschnitt mildert einen Mangel. Dieser Übergang ist der Moment, in dem das Team sagen muss, was zwingend ist, ein raueres Gespräch als die Gewichtung.

Visualisierungen

Die Verzweigung zwischen den beiden Pfaden ist eine Lage im Raum: zwei parallele Wege, die vom selben Material ausgehen und in Urteilen unterschiedlicher Natur enden. Das Schema trägt vier Schritte je Pfad, die Wertattribute am Kopf jedes Pfades, das binäre Urteil auf der einen und die Wertrangfolge auf der anderen Seite.

Die gewichtete Matrix und die Liste der Urteile bestehen aus Zeilen und Spalten: Sie werden als HTML im Textkörper geführt, wo sie beim Zoomen lesbar und für einen Screenreader zugänglich bleiben. Die beiden Tabellen tragen dieselben vier Attribute und werden gegeneinander gelesen: Dasselbe Wort wird in der Matrix zu einer Bewertung und im Abnahmetest zu einem Schwellenwert. In der Akzeptanztabelle nimmt die Ergebnisspalte nur zwei Werte an: Eine Zwischenzelle, „teilweise konform“, würde die Verhandlung wieder öffnen, die das Kriterium schliessen sollte.

Aufwand

Werkzeuge

Die Tabellenkalkulation genügt für die Bewertungsmatrix und hält sie überprüfbar und wiederholbar, was zählt, wenn ein Zuschlag zu begründen ist. Die gewichteten Beiträge und die Summen sind Formeln, und die Sensitivität prüft man, indem man eine Gewichtszelle ändert und die Rangfolge neu rechnen lässt. Eine bedingte Formatierung hebt den führenden Kandidaten hervor. Bei einer öffentlichen Ausschreibung tragen Beschaffungsplattformen wie simap.ch dieselbe Matrix mit dem Zeitstempel und der Prüfspur, die das Verfahren verlangt.

Auf der Akzeptanzseite ist das Anforderungsmanagement-Werkzeug der richtige Ort: Ein im Sitzungsprotokoll festgehaltenes Kriterium geht verloren, während es, an die Anforderung im Werkzeug geknüpft, deren Änderungen folgt, im Abnahmetest wieder auftaucht und mit den Testfällen verbunden ist, die es prüfen. Jira mit Xray oder Zephyr, Azure DevOps, Polarion und Jama halten diese Nachvollziehbarkeit, vom Kriterium über den Testfall bis zum Ausführungsergebnis. Testmanagement-Werkzeuge tragen die Abnahmekampagne selbst und erzeugen die Aufstellung der bestandenen und nicht bestandenen Prüfungen, die der Auftraggeber oder der Lenkungsausschuss unterschreibt.

Sind die Kriterien in „angenommen, wenn, dann“ geschrieben, führen Werkzeuge der verhaltensgetriebenen Entwicklung, Cucumber, SpecFlow oder Behave, sie unverändert aus: Das Kriterium wird zum Test, und die Frage, ob der Test dem Kriterium entspricht, fällt weg. Das Anti-Werkzeug ist die vom Kandidaten gelieferte Bewertungsmatrix, die die Attribute gewichtet, bei denen sein Angebot stark ist, und eine kommerzielle Präferenz als Bewertung ausgibt.

Quellen

• IIBA, A Guide to the Business Analysis Body of Knowledge (BABOK Guide) v3, §10.1 Acceptance and Evaluation Criteria: der Zweck der beiden Verwendungen, die Definition der Wertattribute und ihre sechs Beispielfamilien, die testbare Form der Akzeptanzkriterien, die stetige oder diskrete Skala der Bewertungskriterien sowie die anerkannten Stärken und Grenzen, darunter die vertragliche Starrheit und die Schwierigkeit, zwischen Stakeholdern mit unterschiedlichen Bedürfnissen Einigkeit zu erzielen.
• ISO/IEC/IEEE, ISO/IEC/IEEE 29148:2018, Requirements Engineering: die Überprüfbarkeit unter den Eigenschaften einer gut formulierten Anforderung, worauf die von einem Akzeptanzkriterium verlangte Testbarkeit beruht.
• ISO/IEC, ISO/IEC 25010:2023, Qualitätsmodell für Softwareprodukte: die operativen Definitionen der Qualitäten, die das BABOK als Beispiele nennt, für Softwarelösungen, mit der Interaktionsfähigkeit anstelle der Usability und der Skalierbarkeit unter der Flexibilität.