Card Sorting
Card Sorting ist eine Methode der Nutzerforschung. Die Teilnehmenden erhalten einen Satz Karten mit je einem bestehenden Inhalt, einer Seite, einer Dienstleistung, einem Formular; sie gruppieren die Karten so, wie es ihnen einleuchtet, und benennen die Gruppen. Diese Gruppen und ihre Bezeichnungen legen das mentale Modell offen, nach dem diese Personen die Inhalte zu finden erwarten. Das Ergebnis fliesst in eine Informationsarchitektur ein: ein Navigationsmenü, eine Taxonomie, die Gliederung eines Dokuments. Die Sortierung erzeugt eine Kandidatenstruktur, die anschliessend gesondert geprüft wird.
Ziel
Beim Card Sorting gruppieren Nutzende bestehende Inhalte zu den Kategorien, die ihnen natürlich erscheinen, und benennen sie anschliessend. Die Methode beantwortet eine Gestaltungsfrage: Wie erwartet das Publikum, diese Inhalte zu finden, wenn ihm niemand das Vokabular und die Gliederung der publizierenden Organisation vorgibt?
Sie stützt die Wahl einer Informationsarchitektur: die Hauptrubriken einer Website, die Reihenfolge eines Menüs, die Einträge einer Dokumententaxonomie. Das Ergebnis hat zwei Hälften: auf der einen Seite die Gruppen, wie die Teilnehmenden sie gebildet und benannt haben, qualitatives Material zum Vokabular; auf der anderen die Zählung der Kartenpaare, die zusammen abgelegt wurden, quantitatives Material zur Stärke jeder Zuordnung. Beide werden zusammen gelesen: Erhält eine klare Zuordnung abweichende Bezeichnungen, bleibt die Gruppe bestehen und die Arbeit liegt bei der Bezeichnung.
Ob Menschen in der entstandenen Struktur finden, was sie suchen, misst erst ein Tree Testing.
Card Sorting und Affinitätsdiagramm
Von Weitem ähneln sich die beiden Techniken, Karten werden von Hand verschoben, bis Gruppen entstehen; die Richtung des Vorgehens trennt sie.
| Wer sortiert | Was sortiert wird | Was herauskommt | |
|---|---|---|---|
| Card Sorting | Nutzende oder Stakeholder ausserhalb des Teams | Inhalte, die bereits bestehen | die Ordnung, die diese Personen darin sehen, Grundlage einer Informationsarchitektur |
| Affinitätsdiagramm | das Team selbst | die Ideen, die es soeben in der Sitzung erzeugt hat | die Konvergenz auf einige Themen nach einer Phase der Divergenz |
Wurde das zu sortierende Material innerhalb der letzten Stunde von den Anwesenden geschrieben, ist das Affinitätsdiagramm das Werkzeug; besteht es bereits und geht es darum, wie ein Publikum es einordnet, handelt es sich um ein Card Sorting, mit ausserhalb des Teams rekrutierten Teilnehmenden.
Das Card Sorting legt die Gruppierung fest. Bedeutung und Vokabular der Begriffe festzulegen, ist Sache der Begriffsmodellierung und des Glossars; die Kriterien, nach denen eine Person zwei Elemente unterscheidet, einzeln herauszuarbeiten, ist Sache des Repertory Grid.
Einsatz
Wann einsetzen
- Überarbeitung einer bestehenden Navigation: Das Content-Inventar liegt vor und die bestehende Struktur ist umstritten.
- Internes Vokabular weit weg von dem des Publikums: Die Website ist nach dem Organigramm gegliedert und die Besuchenden erkennen die Bezeichnungen nicht.
- Zu prüfende Kandidatentaxonomie: Ein geschlossenes Card Sorting, dessen Kategorien im Voraus feststehen, zeigt, welche davon Inhalte ohne Zögern aufnehmen.
- Interne Uneinigkeit über die Einordnung: Die Sortierung verlagert den Entscheid von der Meinung der Abteilungen auf Nutzerdaten.
- Verstreutes Publikum: Ein unmoderiertes Card Sorting aus der Ferne rekrutiert breit, zu geringen Grenzkosten pro teilnehmender Person.
Wann nicht einsetzen
- Struktur bewerten statt erzeugen: ein Tree Testing einsetzen, das misst, ob Menschen in einer gegebenen Struktur finden, was sie suchen.
- Inhalte noch zu erfinden: Es gibt nichts auf die Karten zu schreiben, hier führt ein Affinitätsdiagramm über die Ideen des Teams weiter.
Beschreibung
Das Card Sorting gelangt 1985 mit den Arbeiten von Tom Tullis zu Betriebssystem-Menüs in die Gestaltung von Benutzungsoberflächen, 1995 mit Jakob Nielsen und Darrell Sano in die Informationsarchitektur des Web. Donna Spencer hat der Technik 2009 das einzige ihr vollständig gewidmete Buch gegeben, die Referenz der Profession für Planung, Durchführung und Auswertung.
Die drei Varianten
| Variante | Wer die Kategorien festlegt | Einsatz | Eigenes Risiko |
|---|---|---|---|
| Offenes Card Sorting | die Teilnehmenden, die die Gruppen bilden und benennen | Entdeckung: eine Struktur hervorbringen, solange keine feststeht | von Person zu Person uneinheitliche Bezeichnungen, deren Abgleich teuer ist |
| Geschlossenes Card Sorting | die forschende Person, die die Liste vorgibt | Validierung: eine Kandidatenstruktur prüfen oder neue Inhalte darin platzieren | keine fehlende Kategorie kann zutage treten, da der Satz im Voraus begrenzt ist |
| Hybrides Card Sorting | die forschende Person, mit der Freiheit, Gruppen zu ergänzen | Kompromiss, wenn ein Teil der Struktur feststeht | die vorgegebenen Kategorien verankern das Denken und halten davon ab, eine neue Gruppe zu bilden |
Das offene Card Sorting legt das freieste mentale Modell offen. Hudson hält das hybride Card Sorting für brauchbar und weist zugleich darauf hin, dass es den Ankereffekt des geschlossenen mitbringt.
Das geschlossene Card Sorting behält seinen Einsatz, wenn ein Gesetz oder eine Norm die Einordnung vorschreibt: Es betrifft dann die Bezeichnungen und die Platzierung in den vorgegebenen Kategorien.
Den Kartensatz vorbereiten
Die Qualität einer Sortierung entscheidet sich vor der Sitzung, bei der Wahl dessen, was auf den Karten steht. Ein Content-Inventar erfasst den Bestand, Seite für Seite, Dienstleistung für Dienstleistung. Dubletten und tote Inhalte werden ausgeschieden, dann werden Stellvertreter behalten: für jede vermutete Familie einige Elemente statt alle. Ein Satz von mehreren Hundert Karten ist nicht praktikabel; eine teilnehmende Person gibt lange vor dem Ende auf.
Die Formulierung der Karten wiegt so schwer wie ihre Zahl. Jede Karte trägt eine kurze, aus sich heraus verständliche Bezeichnung in den Worten des angesprochenen Publikums. Interner Fachjargon lässt die Teilnehmenden den Jargon sortieren statt die Inhalte. Derselbe Wortstamm auf mehreren Karten führt dazu, dass die Karten auf denselben Stapel gelegt werden, ohne dass über ihre Bedeutung nachgedacht wurde, was die Nielsen Norman Group unter dem Namen terminology matching beschreibt: nach Wortähnlichkeit zu gruppieren kostet weniger Aufwand als nach der Art des Anliegens. Zwei Gegenmittel: die Formulierungen innerhalb einer Familie variieren und laut sagen lassen, warum eine Karte zu einer bestimmten Gruppe gestossen ist.
Hudson nennt Grössenordnungen für die Dauer: rund 20 Minuten für 30 Elemente, 30 Minuten für 50, eine Stunde für 100. Jenseits dieser Grenze verschlechtert die Ermüdung die Sortierung mehr, als sie Material beiträgt.
Das Setting wählen
Ein moderiertes Card Sorting läuft mit einer moderierenden Person, vor Ort oder aus der Ferne. Die teilnehmende Person denkt laut; die Moderation fragt, warum eine Karte dort liegt, klärt eine mehrdeutige Bezeichnung, beobachtet das Zögern. Die Gründe der Einordnung werden sichtbar. Ein unmoderiertes Card Sorting läuft allein ab, über ein Online-Werkzeug. Es skaliert, erreicht verstreute Zielgruppen und liefert saubere Daten, ohne die Gründe zu liefern.
Tullis und Wood haben 2004 die nötige Zahl von Teilnehmenden untersucht, an einem Datensatz von 168 Teilnehmenden, indem sie Untergruppen wiederholt neu zogen und die Korrelation zwischen den erhaltenen Gruppierungen und jenen der Gesamtstichprobe massen: rund 0,90 bei 15 Teilnehmenden, 0,93 bei 20, 0,95 bei 30 und 0,98 bei 60. Sie folgern daraus, dass 60 Teilnehmende Verschwendung sind und dass der Ertrag jenseits von 20 bis 30 stark abnimmt. Die verbreitete Empfehlung von 15 bis 30 Teilnehmenden geht auf diese Studie zurück.
Der physische Träger, Karteikarten auf einem Tisch, behält in einer moderierten Sitzung einen Vorteil: Das Hantieren hält die Beteiligung wach und macht das Zögern sichtbar. Dafür muss jeder Stapel von Hand übertragen werden. Digitale Werkzeuge zeichnen die Sortierung auf und berechnen Matrix und Dendrogramm, was sie zum gewöhnlichen Setting macht, sobald mehr als ein Dutzend Teilnehmende angestrebt werden.
Die Sitzung durchführen
Die Anweisung passt in einen Satz: diese Karten zu Gruppen ordnen, die zusammengehören, auf die eigene Art. Dazu gehört der Hinweis, dass es keine richtige Antwort gibt, dass die Zahl der Gruppen frei ist und dass eine unverstandene Karte beiseitegelegt werden darf, statt sie aufs Geratewohl einzuordnen. Beim offenen Card Sorting benennt die teilnehmende Person ihre Gruppen, sobald die Einordnung steht; zuerst zu benennen lenkt das Sortieren auf die Bezeichnung hin. Beiseitegelegte Karten sind ein Ergebnis: Eine Karte, die niemand einzuordnen weiss, zeigt eine unklare Bezeichnung oder einen Inhalt ohne Publikum an.
Eine häufige Abweichung besteht darin, die teilnehmende Person zu korrigieren oder durchblicken zu lassen, dass eine Gruppe richtiger sei als eine andere. Wer eine Kategorie vorsagt, erhebt die eigene Architektur. Der einzige legitime Eingriff betrifft das Verständnis eines Wortes.
Die Sortierungen auswerten
Die Rohdaten sind für jede teilnehmende Person die Liste ihrer Gruppen mit den enthaltenen Karten und der Bezeichnung, die sie ihnen gegeben hat.
Die Auswertung nach Gruppen (items-by-groups in den Werkzeugen) führt die vorgeschlagenen Bezeichnungen und die Karten zusammen, die jede von ihnen anzieht. Sie arbeitet am Vokabular: Schreiben zwölf von zweiundzwanzig Teilnehmenden "Wohnen" und fünf "Domizil", ist das Wort der Nutzenden bekannt.
Die Auswertung nach Paaren (items-by-items in den Werkzeugen) zählt für jedes Kartenpaar, wie viele Teilnehmende es zusammen abgelegt haben. Diese Zählung ergibt eine Ähnlichkeitsmatrix, die einer agglomerativen hierarchischen Clusteranalyse unterzogen wird. Das Ergebnis lässt sich an einem Dendrogramm ablesen, einem Baum, in dem zwei Karten auf einer Höhe zusammenlaufen, die angibt, wie oft sie zusammen abgelegt wurden: Je tiefer der Knoten liegt, desto klarer ist die Übereinstimmung.
Hudson nennt eine Grenze, die dem Dendrogramm eigen ist: Jedes Element hängt an einem einzigen Ast. Eine Karte, die die eine Hälfte des Panels unter A und die andere unter B ablegt, landet willkürlich auf einer Seite, und die Uneinigkeit, die eine Gestaltungsinformation ist, verschwindet aus der Ausgabe. Das Gegenmittel besteht darin, die Ähnlichkeitsmatrix zu behalten und darin die Paare zu suchen, deren Wert um die Hälfte des Panels liegt.
Die Standardauswertung liefert eine einzige Ebene der Gruppierung. Eine Hierarchie über mehrere Stufen bedienen die gängigen Werkzeuge schlecht; sie lässt sich besser behandeln, wenn ein Teil der Struktur im Voraus feststeht.
Die Karten werden schliesslich ausserhalb ihres Kontexts sortiert, ohne umgebende Seite, ohne visuelle Hierarchie, ohne Suchfunktion. Die erhaltenen Gruppen sagen, wie Menschen ordnen, was nicht immer damit übereinstimmt, wie sie im laufenden Produkt navigieren würden.
KI-Überlegungen
Die lohnendste Hilfe liegt vor der Sitzung. Ein Sprachmodell entfernt die Dubletten aus einem Inventar von mehreren Hundert Seiten, schlägt für jede vermutete Familie eine kleine Zahl von Stellvertretern vor und meldet die Bezeichnungen, deren Wortstamm sich wiederholt. Auf einer mehrsprachigen Schweizer Website vereinheitlicht es die französischen, deutschen und italienischen Beschriftungen, damit ein und derselbe Kartensatz drei vergleichbare Panels bedient. Danach codiert es die Transkripte der moderierten Sitzungen und führt gleichbedeutende Bezeichnungen zusammen.
Eines ist ihm untersagt: die Karten anstelle der Teilnehmenden zu sortieren. Ein Modell, das die Gruppierung erzeugen soll, gibt die implizite Struktur seines Trainingskorpus wieder, während die Technik dazu da ist, diejenige des angesprochenen Publikums zu messen. Dieselbe Vorsicht gilt für Kategorienbezeichnungen, die ein Modell vorschlägt: Sie sind plausibel, weil sie anderswo häufig sind, was das Gegenteil des gesuchten lokalen Vokabulars ist.
Transkripte moderierter Sitzungen enthalten identifizierbare Aussagen und mitunter Personendaten. Sie einem externen Dienst anzuvertrauen löst die schweizerischen Datenschutzpflichten nach revDSG aus: internes oder freigegebenes Werkzeug, sonst Anonymisierung vor jeder automatischen Verarbeitung.
Beispiele
Eine Westschweizer Gemeinde überarbeitet die Navigation ihrer Website: Die 62 im Content-Inventar erfassten Online-Dienstleistungen wurden von 22 Einwohnerinnen und Einwohnern aus drei Altersgruppen in einem offenen, unmoderierten Card Sorting sortiert.
| Von den Teilnehmenden benannte Gruppe | Am häufigsten zusammengelegte Karten | Anteil des Panels |
|---|---|---|
| Wohnen und Umziehen | Zuzugsmeldung, Adressänderung, Wohnsitzbestätigung, Parkkarte | 19 / 22 |
| Bauen und Renovieren | Baugesuch, öffentliche Auflage, Anschlussgebühr, Bauschuttentsorgung | 18 / 22 |
| Familie und Schule | Anmeldung für die obligatorische Schule, schulergänzende Betreuung, Familienzulagen, Ferienlager | 16 / 22 |
| Steuern und Gebühren | Akontozahlung der Steuern, Sackgebühr, Wasserrechnung, Kurtaxe | 14 / 22 |
| Ohne stabile Gruppe | Hundeanmeldung: von 11 Personen unter "Wohnen und Umziehen" abgelegt, von 9 unter "Steuern und Gebühren" | Teilung 11 / 9 |
Die ersten vier Gruppen lesen sich als Kandidaten für die Hauptrubriken. Die Auswertung nach Paaren desselben Panels beziffert ihre Belastbarkeit: Wohnsitzbestätigung und Adressänderung wurden von 21 der 22 Personen zusammen abgelegt, Anmeldung für die obligatorische Schule und schulergänzende Betreuung von 20. Auf diesem Niveau steht die Rubrik fest und die Diskussion betrifft ihre Bezeichnung.
Die strittige Karte lässt sich an derselben Matrix ablesen. Hundeanmeldung und Akontozahlung der Steuern erreichen 9 von 22, Hundeanmeldung und Wohnsitzbestätigung 11 von 22. Zwei Werte nahe der Hälfte des Panels zeigen eine Teilung an, die das Dendrogramm entscheiden würde, ohne es zu sagen. Was folgt, ist eher ein Gestaltungsentscheid als eine statistische Schlichtung: die Dienstleistung an beiden Orten platzieren oder sie auf einer Seite ablegen und über einen Verweis von der anderen auffindbar machen.
Visualisierungen
In den Rohsortierungen sucht man die Karten, die eine teilnehmende Person beiseitegelegt hat, und jene, die sie mehrfach verschoben hat. In der Ähnlichkeitsmatrix geht man zuerst zu den Werten nahe der Hälfte des Panels, die die Teilungen markieren. Im Dendrogramm liest man die Höhe der Knoten vor den Ästen: Sie sagt, ob eine Gruppe hält. Die Matrix bleibt während des ganzen Entscheids neben dem Dendrogramm offen, da sie als einzige der drei Darstellungen die Uneinigkeiten bewahrt.
Auswertungskette eines Card Sortings
von den Rohsortierungen zum Dendrogramm
C und D: 1 von 3, eine Teilung zwischen zwei Ästen des Dendrogramms.
Aufwand
| Phase | Stufe | Begründung |
|---|---|---|
| Vorbereitung | Hoch | Content-Inventar, Auswahl der Stellvertreter, Formulierung der Bezeichnungen, Rekrutierung des Panels. Die Sortierung dauert eine Stunde, die Wahl dessen, was auf den Karten steht, dauert Tage. |
| Durchführung | Niedrig bis mittel | Niedrig beim unmoderierten Card Sorting, wo die Sitzung ohne Eingriff abläuft; mittel beim moderierten, wo jede Sitzung eine moderierende Person 20 bis 60 Minuten bindet, je nach Zahl der Karten. |
| Dokumentation | Mittel | Ähnlichkeitsmatrix, Dendrogramm, vorgeschlagene Struktur mit Begründung der Abweichungen. Ein Online-Werkzeug erzeugt die ersten beiden von selbst. |
Werkzeuge
Das minimale Setting ist ein Satz Karteikarten, ein Filzstift und ein Tisch, ergänzt durch eine Tabellenkalkulation, um die Stapel zu erfassen und die Häufigkeiten der Paare zu berechnen. Es eignet sich für eine Handvoll moderierter Sitzungen vor Ort; die manuelle Übertragung setzt die Grenze.
Die spezialisierten Plattformen, OptimalSort von Optimal Workshop, UXtweak, Maze, kardSort, decken die drei Varianten ab, beherbergen das unmoderierte Card Sorting und liefern Ähnlichkeitsmatrix und Dendrogramm ohne weitere Bearbeitung. Ein digitales Whiteboard, Miro oder Mural, hilft bei einem moderierten Card Sorting aus der Ferne aus, wertet aber nichts aus: Die Stapel müssen anschliessend erfasst werden.
Für eine Schweizer Organisation lenkt der Standort der Datenhaltung die Wahl, wenn das Panel identifizierbar ist oder die sortierten Inhalte nicht öffentlich sind. Ein unmoderiertes Card Sorting auf einem ausserhalb der Schweiz gehosteten Werkzeug wird mit pseudonymisierten Teilnehmenden durchgeführt. Die Auswertung lässt sich auch von Hand wiederholen: Die agglomerative hierarchische Clusteranalyse lässt sich in R oder in Python allein aus der exportierten Ähnlichkeitsmatrix berechnen.
Quellen
- Hudson, W., "Card Sorting", in The Encyclopedia of Human-Computer Interaction, 2. Aufl., Interaction Design Foundation, 2014: dokumentierte Geschichte der Methode, Definition der drei Varianten, Auswertung und Grenzen. Kapitel online.
- Spencer, D., Card Sorting: Designing Usable Categories, Rosenfeld Media, 2009: das einzige der Technik vollständig gewidmete Buch, die Referenz der Profession für Planung, Durchführung und Auswertung. Seite des Verlags.
- Tullis, T. und Wood, L., "How Many Users Are Enough for a Card-Sorting Study?", UPA 2004 Conference, Minneapolis, 2004 (Usability Professionals' Association): die Studie, aus der die Teilnehmerzahlen stammen.
- Nielsen Norman Group, "Card Sorting: Uncover Users' Mental Models for Better Information Architecture": Definition und Einordnung der Technik.
- Nielsen Norman Group, "Card Sorting: Pushing Users Beyond Terminology Matches": die Gruppierung nach Wortähnlichkeit und die Gegenmittel der Moderation.