Umfrage oder Fragebogen

Ziel

Die Umfrage erhebt Geschäftsinformationen bei einer Gruppe, über einen Satz identischer Fragen, die jeder Person gestellt werden, und sie liefert ein Ergebnis, das sich beziffern lässt: «achtundfünfzig Prozent erklären sich als zufrieden, auf drei Punkte genau». Ein Teil dessen, was eine Organisation wissen muss, ist auf sehr viele Köpfe verteilt: was eine gesamte Belegschaft denkt, was Hunderte von Mitgliedern eines Vereins wollen, wie ein geografisch verstreuter Kundenstamm einen Dienst beurteilt. Diese Menschen einzeln zu befragen würde eine Zeit kosten, die niemand hat, und Eindrücke liefern, die sich weder zählen noch vergleichen lassen.

Vier Eigenschaften machen ihren Wert aus, und der BABOK führt sie als die Stärken der Technik auf. Die Reichweite zuerst: die Umfrage erreicht ein breiteres Publikum als das Interview zu nahezu vernachlässigbaren Grenzkosten je zusätzlicher befragter Person. Die geringe Last danach, auf die befragte Person wie auf die analysierende Person, sobald das Instrument gebaut ist. Die geografische Spannweite, die über mehrere Standorte verstreute Stakeholder mühelos erreicht. Und vor allem die Quantifizierung: geschlossene Fragen liefern numerische Daten, die statistisch verarbeitbar sind, und offene Fragen bringen Beobachtungen hervor, welche die anderen Techniken verpassen, weil sie nicht danach zu fragen wussten.

Das Ergebnis ist ein Satz strukturierter Antworten. Geschlossene Fragen ergeben Anteile samt ihrer Fehlermarge, Verteilungen und Kreuztabellen; offene Fragen ergeben einen Textbestand, den man in Themen und Kategorien codiert. Der Wert dieses Ergebnisses hängt vollständig an zwei Entscheidungen, die vor dem ersten Versand fallen: wie die Stichprobe gezogen wurde, und welche Rücklaufquote erreicht wurde. Ein Prozentwert aus einer verzerrten Stichprobe oder einer lächerlichen Rücklaufquote misst nichts.

Die Umfrage wird über einen Zielkonflikt gewählt: Reichweite gegen Tiefe. Sie kauft Abdeckung und Zählung, und sie bezahlt sie mit Oberflächlichkeit und mit Verzerrung durch Nichtantwort. Wo das Interview nachhakt, konfrontiert und eine Antwort in Echtzeit verfolgt, hält die Umfrage nur fest, was die befragte Person ins Feld schreiben wollte. Die produktivste Kombination steht in einem Satz: drei Interviews sagen, welche Fragen den anderen dreihundert Personen zu stellen sind, und in welchen Worten.

Einsatz

Wann einsetzen

• Grosse oder verstreute Grundgesamtheit: eine Belegschaft, ein Mitgliederbestand oder ein Kundenstamm, den das Interview nicht einzeln erreichen kann, ist abzudecken.
• Es braucht Zahlen: gewünscht sind Anteile, Verteilungen und eine statistische Analyse.
• Das Spektrum der Antworten ist bekannt: geschlossene Fragen passen, wenn bereits klar ist, welche Optionen die befragte Person wählen kann.
• Geringe Kosten und Last: Hunderte zu erreichen kostet fast den Preis, Dutzende zu erreichen, bei wenig Zeit, die jeder Person abverlangt wird.
• Wiederholte Messung über die Zeit: dasselbe Instrument misst eine Zufriedenheit oder eine Meinung Jahr für Jahr und macht die Entwicklung vergleichbar.
• Im Anschluss an Interviews: über dreihundert Personen dimensionieren, was drei Interviews zutage gefördert haben, um zu erfahren, ob der Befund über die drei hinaus trägt.
• Rückmeldung während einer grossen Veränderung: je Organisationseinheit die Stimmung zu einer Einführung erheben, um zu handeln, bevor sich Widerstand festsetzt.

Wann nicht einsetzen

• Das «Warum» hinter der Zahl: die Umfrage misst das Ausmass des Phänomens; die Ursache liefert ein Interview oder eine Fokusgruppe.
• Das Spektrum der Antworten ist noch unbekannt: geschlossene Fragen ernten nur das Vorhergesehene, das Interview bringt das Unerwartete hervor und diktiert dann die Optionen.
• Die Information ist bereits festgehalten: sie lebt in den Akten, eine Dokumentenanalyse durchführen.

Beschreibung

Zwei Fragetypen, vier geschlossene Formen

Der BABOK setzt zwei Fragetypen an. Die geschlossene Frage lässt die befragte Person aus vordefinierten Optionen wählen. Sie ist leichter zu analysieren, knüpft an numerische Werte an und speist die statistische Verarbeitung, und sie kommt zum Einsatz, wenn das Spektrum der möglichen Antworten gut verstanden ist. Die offene Frage verlangt eine formulierte Antwort. Sie liefert Detail und unvorhergesehene Antworten, und sie wird in der Analyse bezahlt: freier Text ist langsam und subjektiv zu kategorisieren. Sie kommt zum Einsatz, wenn die Themen bekannt sind, das Spektrum der Antworten aber nicht.

Die geschlossene Familie kommt in vier Formen, und die Wahl der Form entscheidet, was sich mit den Antworten machen lässt.

Die Formulierung entscheidet über die Messung. Die Arbeiten des Pew Research Center zeigen, dass eine geringfügige Änderung von Wendung, Reihenfolge oder Antwortoptionen die gemessene Meinung regelmässig um mehrere Prozentpunkte verschiebt, mitunter um mehr als zehn. Drei praktische Folgen ergeben sich daraus. Eine suggestive Frage, «stimmen Sie nicht zu, dass...», pflanzt die Antwort ein, die sie zu messen vorgibt; man fragt nach der tatsächlichen Meinung, «wie bewerten Sie...». Eine doppelläufige Frage, die zwei Dinge auf einmal abfragt, «sind Vergütung und Perspektiven zufriedenstellend», kann keine saubere Antwort erhalten und teilt sich in zwei. Und eine ordinale Skala wird in ihrer Reihenfolge gezeigt, weil die Reihenfolge die Information ist. Offene Fragen schliesslich werden dosiert: ihre Nichtantwortquote je Item liegt bei rund achtzehn Prozent, gegenüber ein bis zwei Prozent bei einer geschlossenen, und ein Fragebogen, der sie überstrapaziert, leert sich unterwegs.

Die drei Schritte: vorbereiten, verteilen, dokumentieren

Vorbereiten. Man definiert das Ziel, dann die Zielpopulation mit ihrer Grösse und ihren Unterschieden in Kultur, Sprache und Standort. Man wählt die Dosierung geschlossener und offener Fragen und entscheidet über die Stichprobe: die ganze Grundgesamtheit befragen oder eine Teilmenge über ein Stichprobenverfahren ziehen. Man legt die Verteilungs- und Erhebungswege fest, eine angestrebte Rücklaufquote und einen Zeitplan, und entscheidet, ob der Umfrage Interviews beigestellt werden sollen, da diese jene Tiefe nicht bietet. Man verfasst die Fragen aus dem Ziel heraus, jede mit einem präzisen Zweck. Dann testet man den Fragebogen an einigen befragten Personen: dieser Feldtest bringt mehrdeutige Fragen, gebrochene Logiksprünge und schlecht kalibrierte Skalen vor dem Versand zum Vorschein, solange sie sich noch korrigieren lassen. Ein schlecht entworfenes Instrument wird nicht nachträglich repariert: es muss neu aufgesetzt und erneut ins Feld geschickt werden.

Verteilen. Man kommuniziert das Ziel der Umfrage, den Gebrauch, der von den Ergebnissen gemacht wird, und die getroffenen Vorkehrungen zu Vertraulichkeit oder Anonymität. Diese drei Botschaften entscheiden über die Rücklaufquote und die Offenheit der Antworten. Man wählt den Kanal nach Dringlichkeit, geforderter Sicherheitsstufe und geografischer Streuung. Die Anonymität muss, wenn sie versprochen ist, real sein bis in die Art, wie die Ergebnisse wiedergegeben werden, andernfalls spüren es die befragten Personen und schweigen.

Dokumentieren. Man sammelt und fasst die Antworten zusammen, arbeitet die Themen heraus, die aus den offenen Fragen hervorgehen, formuliert die Codierkategorien und teilt die Daten in messbare Inkremente. Hier werden geschlossene Fragen zu Anteilen und freier Text zu einem Satz gezählter Themen. Das Data Mining übernimmt, wenn das Volumen geschlossener Antworten eine tiefere Musteranalyse rechtfertigt als die blosse Auswertung.

Die Zahlen, die eine Umfrage ehrlich halten

Drei Zahlen verwandeln einen Haufen Antworten in eine verteidigbare Messung, und sie zu verwechseln ist die Quelle nahezu jedes Fehlers der Disziplin.

Die Rücklaufquote ist die Zahl der verwertbaren Antworten geteilt durch die Zahl der berechtigten Personen, die den Fragebogen tatsächlich erhalten haben. Der Nenner ist die Liste der erreichbaren und betroffenen Empfänger: eine ungültige Adresse, ein Empfänger ausserhalb des Perimeters fallen aus dem Nenner. Das ist der Punkt der AAPOR: eine Rücklaufquote wird auf der berechtigten Stichprobe berechnet.

Die Fehlermarge eines Anteils beträgt z·√(p(1−p)/n), wobei p der beobachtete Anteil und n der Stichprobenumfang ist. Beim Konfidenzniveau von 95% ist z gleich 1,96; man verwendet 1,645 bei 90% und 2,576 bei 99%. Ist p zum Zeitpunkt des Umfrageentwurfs unbekannt, nimmt man den ungünstigsten Fall, p gleich 0,5, der p(1−p) maximiert.

Die Korrektur für endliche Grundgesamtheit greift, wenn die Stichprobe einen beachtlichen Anteil der Grundgesamtheit ausmacht, in der Praxis über rund 5%. Man multipliziert die Marge dann mit √((N−n)/(N−1)), wobei N die Grundgesamtheit und n die Stichprobe ist. Ist N viel grösser als n, beträgt dieser Faktor etwa 1 und lässt sich weglassen; ist n ein grosser Bruchteil von N, verengt er das Intervall deutlich. Die Regel lautet, ihn voll anzuwenden oder ihn für vernachlässigbar zu erklären.

Um die Stichprobe im Voraus zu dimensionieren, gibt die Formel von Cochran den Umfang n₀ = z²·p(1−p)/e² an, der für eine angestrebte Marge e nötig ist, und passt ihn dann über n = n₀/(1 + (n₀−1)/N) an eine endliche Grundgesamtheit an. Das ist die Rechnung, welche die Frage «wie viele Antworten brauche ich» beantwortet, und sie erfolgt vor dem Versand.

Daraus folgt die zentrale Falle: eine hohe Rücklaufquote ergibt für sich allein keine kleine Fehlermarge, es ist n, das sie bestimmt. Neunzig Prozent Antworten auf einer Liste von dreissig Personen sind siebenundzwanzig Antworten, mit der Fehlermarge von siebenundzwanzig Antworten. Die Rücklaufquote schützt gegen die Verzerrung durch Nichtantwort, der Stichprobenumfang bestimmt die Genauigkeit, und die beiden Zahlen beantworten zwei verschiedene Fragen, die man nicht vermischen darf.

Ein letzter Faktor bestimmt sowohl die Rücklaufquote als auch die Fehlermarge: die Art, wie die Stichprobe gezogen wird. Nur eine Wahrscheinlichkeitsstichprobe, bei der jede Einheit der Grundgesamtheit eine bekannte und von null verschiedene Chance hat, ausgewählt zu werden, erlaubt es, das Ergebnis mit einer bezifferbaren Fehlermarge auf die Grundgesamtheit zu verallgemeinern. Eine Nicht-Wahrscheinlichkeitsstichprobe, ein Panel mit Selbstauswahl oder eine Gelegenheitsstichprobe, ergibt nur eine Teilnahmequote, welche die AAPOR von der Rücklaufquote unterscheidet, und sie trägt eine Auswahlverzerrung, die ein grosses n nicht korrigiert. Tausend Antworten allein von Freiwilligen messen die Meinung der Freiwilligen, und die darauf berechnete Fehlermarge ist ein mathematisches Ornament, gelegt über eine Stichprobe, die niemanden Bekannten repräsentiert.

KI-Überlegungen

Die KI wirkt an beiden Enden der Technik, dem Entwurf und der Auswertung. Beim Entwurf erzeugt ein Sprachmodell aus dem Ziel eine erste Sammlung von Fragen, und es ist gut im mechanischen Teil der Arbeit: eine Absicht in eine geschlossene Frage überführen, die Optionen einer Mehrfachauswahl vorschlagen und vor allem die suggestiven Wendungen und doppelläufigen Fragen anzeigen, die eine schreibende Person durchgehen lässt, ohne sie zu sehen. Einen Feldtest zu simulieren, indem das Modell als verschiedene Antwortprofile antwortet, bringt manche Mehrdeutigkeiten vor dem Versand zum Vorschein. Bei der Auswertung verdient sich die KI ihren Platz an den offenen Fragen: Hunderte von Freitextantworten zu gruppieren, Codierkategorien vorzuschlagen und die Themen zusammenzufassen ist der Schritt, den der BABOK «Codierkategorien formulieren» nennt, und es ist eine Arbeit, bei der die Maschine in Minuten erledigt, was Tage dauerte. Das ist auch der analytische Blickwinkel, den der Guide to Business Data Analytics einnimmt: die Fragen um eine zu prüfende Hypothese herum strukturieren und die Antworten laufend verfolgen.

Die Grenzen sind scharf. Die KI bescheinigt nicht die Gültigkeit der Stichprobe: ein verzerrter Erhebungsrahmen bleibt verzerrt, wie ausgeklügelt die folgende Analyse auch sei, und kein Modell holt eine schlecht gezogene Grundgesamtheit auf. Am Freitext fabriziert sie plausible Themen aus dünnem Material, und ein erfundenes Thema sieht aus wie ein echtes: die analysierende Person prüft jede Kategorie gegen die Originalzitate, die sie füllen. Die Entscheidung über die statistische Signifikanz und über die Rücklaufquote bleibt ein menschliches Urteil; die Berechnung der Fehlermarge ihrerseits gehorcht einer Formel. Schliesslich fallen die Anonymität und die Sensibilität der Rohantworten unter eine menschliche Governance, die der Guide to Business Data Analytics unterstreicht: einen Bestand namentlicher Antworten einem externen Dienst anzuvertrauen kommuniziert Personendaten, und die Entscheidung fällt nach Massgabe des Datenschutzes.

Beispiele

Ein Dienstleistungsunternehmen mit Sitz in Freiburg führt seine jährliche Zufriedenheitsumfrage unter seinen 480 Mitarbeitenden durch. Es befragt sie alle, es handelt sich also um eine Vollerhebung. Der Fragebogen ist anonym, er mischt vier Frageformen und lässt sich in fünf Minuten beantworten.

312 Mitarbeitende antworten verwertbar. Die Rücklaufquote beträgt also 312 / 480, das heisst 65,0%. Bei der Leitfrage erklären sich 58% als zufrieden oder sehr zufrieden, das ist der Anteil p = 0,58 über n = 312 Antworten. Die Fehlermarge bei 95% beträgt zunächst 1,96 × √(0,58 × 0,42 / 312), also ±5,5%. Da die 312 Antwortenden 65% der Grundgesamtheit von 480 ausmachen, greift die Korrektur für endliche Grundgesamtheit: sie beträgt √((480 − 312) / (480 − 1)), also 0,592, und bringt die Marge auf 5,5% × 0,592, also ±3,2%. Das ehrliche Ergebnis liest sich somit «58% Zufriedene, Intervall von 54,8% bis 61,2% bei 95% Konfidenz».

Die Lehre des Falls hängt an der genauen Rolle jeder Zahl. Die Rücklaufquote von 65% ist gut und schützt gegen die Verzerrung durch Nichtantwort, aber die Genauigkeit kommt von den 312 Antworten, verengt durch die Korrektur für endliche Grundgesamtheit, die das ±3,2% erzeugen. Eine Dimensionierungsrechnung bestätigt es: um ±5% bei 95% mit einem unbekannten Anteil (p = 0,5) anzuzielen, gibt die Formel von Cochran n₀ = 1,96² × 0,25 / 0,05², also 384, dann n = 384 / (1 + 383 / 480), also 214. 214 der 480 Mitarbeitenden zu befragen hätte für ±5% bereits genügt; die Vollerhebung erhielt 312 davon und sinkt dank der Korrektur auf ±3,2%.

Visualisierungen

Ein Umfrageprozentwert ist ein Intervall. Die «58% Zufriedene» des Beispiels bezeichnen die Mitte einer Spanne, die die Fehlermarge begrenzt: bei 95% Konfidenz liegt der wahre Anteil der Grundgesamtheit zwischen 54,8% und 61,2%. Das Band von ±3,2% um den Wert ist die richtige Leseeinheit, und die nackte Zahl zu lesen läuft darauf hinaus, die Mitte mit der ganzen Spanne zu verwechseln. Zwei Wellen derselben Umfrage, die 58% und dann 60% auf Stichproben dieser Grösse ergeben, erzeugen Spannen, die sich weit überlappen, und es ist diese Überlappung, die sagt, ob der beobachtete Abstand eine echte Bewegung oder Stichprobenrauschen ist.

Kosten

Das Kostenprofil ist das Gegenteil desjenigen des Interviews: die Umfrage ist teuer im Entwurf und günstig in der Durchführung, wo das Interview schnell vorzubereiten ist, aber bei jeder Wiederholung bezahlt wird. Das macht sie zum besten Einsatz des Budgets, sobald die Grundgesamtheit einige Dutzend Personen übersteigt.

Werkzeuge

Das Minimum an Werkzeug sind ein Tabellenblatt und eine E-Mail: ein Fragebogen, getippt, als Anhang versandt und von Hand ausgewertet, taugt für eine kleine interne Umfrage mit einigen Dutzend Antworten. Sie zeigt rasch ihre Grenzen, da die manuelle Erfassung der Antworten zugleich langsam und fehleranfällig ist.

Online-Formulare (Microsoft Forms, Google Forms) sind die gängige Wahl: sie erfassen die Antworten direkt in einer Tabelle, handhaben Logiksprünge und tabellieren geschlossene Fragen ohne erneute Eingabe. Spezialisierte Umfrageplattformen (Qualtrics, SurveyMonkey, Typeform, Tally) fügen hinzu, was in grösserem Massstab zählt: Verwaltung von Quoten und Panels, Steuerung der Verteilung, Verfolgung der Rücklaufquote in Echtzeit und gezielte Erinnerungen. Für eine interne Umfrage über sensible Daten verdient LimeSurvey eine eigene Erwähnung, weil es quelloffen und auf einer Schweizer Infrastruktur hostbar ist: der Ort, an dem die Antworten verarbeitet und aufbewahrt werden, ist hier ein Auswahlkriterium, das mindestens so wichtig ist wie die Funktionen.

Nachgelagert teilt sich die Analyse nach dem Fragetyp. Geschlossene Antworten verlangen ein Tabellenblatt für die einfache Auswertung, dann ein statistisches Werkzeug (R, Python, SPSS), sobald Fehlermargen zu berechnen, eine Signifikanz zu prüfen oder Variablen zu kreuzen sind. Offene Antworten verlangen ein Werkzeug zur qualitativen Codierung (Dovetail, MAXQDA, NVivo, Atlas.ti) oder eine von einem Sprachmodell unterstützte Kette für die thematische Gruppierung, sofern die analysierende Person die erzeugten Kategorien gegenliest. Der Faden, der all das verbindet, ist die Nachvollziehbarkeit: jeder veröffentlichte Anteil behält die Verbindung zur Frage, zur Stichprobe und zur Rücklaufquote, aus der er stammt, andernfalls überlebt die Zahl ihre eigenen Gültigkeitsbedingungen und beginnt, für sich allein zu zirkulieren.

Quellen

• IIBA, A Guide to the Business Analysis Body of Knowledge (BABOK Guide) v3, §10.45 Survey or Questionnaire: die Definition, die zwei Fragetypen, die drei Elemente (vorbereiten, verteilen, dokumentieren) und die aufgeführten Stärken und Grenzen.
• IIBA, Guide to Business Data Analytics, §3.17 Survey or Questionnaire: der analytische Blickwinkel, um eine Hypothese herum strukturierte Fragen, Verfolgung der Rücklaufquote für die Signifikanz, Anonymität und Rückmeldung zur Veränderung je Organisationseinheit.
• Cochran, W. G., Sampling Techniques, 3. Aufl., John Wiley & Sons, 1977: die Formel für den Stichprobenumfang, die Korrektur für endliche Grundgesamtheit und die Fehlermarge eines Anteils.
• AAPOR, Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys: die Definition der Rücklaufquote auf der berechtigten Stichprobe.
• AAPOR Task Force, Report on Non-Probability Sampling, 2013: die Unterscheidung zwischen Wahrscheinlichkeits- und Nicht-Wahrscheinlichkeitsstichprobe und zwischen Rücklaufquote und Teilnahmequote.
• Pew Research Center, Writing Survey Questions: die Wirkung der Formulierung auf die Messung, suggestive Fragen, die Reihenfolge der Skalen und die Nichtantwort offener Fragen.