Sondage ou questionnaire

Objectif

Le sondage élicite l'information d'affaires auprès d'un groupe, à travers un jeu de questions identiques posées à chacun, et il livre un résultat que l'on peut chiffrer: « cinquante-huit pour cent se déclarent satisfaits, à trois points près ». Une part de ce qu'une organisation a besoin de savoir est répartie dans un grand nombre de têtes: ce que pense l'ensemble d'un effectif, ce que veulent des centaines de membres d'une association, comment une base de clientèle géographiquement dispersée juge un service. Les interroger un par un coûterait un temps qu'on n'a pas, et rapporterait des impressions qu'on ne saurait ni compter ni comparer.

Quatre propriétés font sa valeur, et le BABOK les énonce comme les forces de la technique. L'ampleur, d'abord: le sondage atteint un public plus large que l'entretien pour un coût marginal presque nul par répondant supplémentaire. La faible charge ensuite, sur le répondant comme sur l'analyste, une fois l'instrument construit. La portée géographique, qui joint sans effort des parties prenantes réparties sur plusieurs sites. Et surtout la quantification: les questions fermées produisent des données numériques exploitables statistiquement, et les questions ouvertes font remonter des observations que les autres techniques manquent, parce qu'elles n'avaient pas su les demander.

Le livrable est un jeu de réponses structurées. Les questions fermées donnent des proportions assorties de leur marge d'erreur, des distributions et des tableaux croisés; les questions ouvertes donnent un corpus de texte que l'on code en thèmes et en catégories. La valeur de ce livrable est entièrement suspendue à deux décisions prises avant le premier envoi: comment l'échantillon a été tiré, et quel taux de réponse a été atteint. Un pourcentage issu d'un échantillon biaisé ou d'un taux de réponse dérisoire ne mesure rien.

Le sondage se choisit sur un arbitrage: l'ampleur contre la profondeur. Il achète la couverture et le décompte, il les paie en superficialité et en biais de non-réponse. Là où l'entretien relance, confronte et suit une réponse en temps réel, le sondage n'enregistre que ce que le répondant a bien voulu écrire dans la case. La combinaison la plus productive tient en une phrase: trois entretiens disent quelles questions poser aux trois cents autres personnes et dans quels mots.

Usage

Quand l'utiliser

• Population large ou dispersée: il faut couvrir un effectif, un sociétariat ou une clientèle que l'entretien ne peut joindre un par un.
• Il faut des chiffres: on veut des proportions, des distributions et une analyse statistique.
• L'éventail des réponses est connu: les questions fermées conviennent quand on sait déjà quelles options le répondant peut choisir.
• Coût et charge faibles: joindre des centaines de personnes revient presque au prix d'en joindre des dizaines, pour peu de temps demandé à chacune.
• Mesure répétée dans le temps: le même instrument mesure une satisfaction ou une opinion d'une année sur l'autre et rend l'évolution comparable.
• À la suite d'entretiens: dimensionner sur trois cents personnes ce que trois entretiens ont fait apparaître, pour savoir si le constat vaut au-delà des trois.
• Retour pendant un grand changement: recueillir par unité fonctionnelle le ressenti d'un déploiement, pour agir avant que l'opposition ne s'installe.

Quand ne pas l'utiliser

• Le « pourquoi » derrière le chiffre: le sondage mesure l'ampleur du phénomène; la cause s'obtient par un entretien ou un focus group.
• L'éventail des réponses est encore inconnu: les questions fermées ne récoltent que le prévu, l'entretien fait surgir l'inattendu et dicte ensuite les options.
• L'information est déjà consignée: elle vit dans les dossiers, mener une analyse documentaire.

Description

Deux types de questions, quatre formes fermées

Le BABOK pose deux types de questions. La question fermée fait choisir le répondant parmi des options prédéfinies. Elle est plus facile à analyser, se rattache à des valeurs numériques et alimente le traitement statistique, et elle s'emploie quand l'éventail des réponses possibles est bien compris. La question ouverte appelle une réponse rédigée. Elle livre du détail et des réponses imprévues, et elle se paie en analyse: le texte libre est lent et subjectif à catégoriser. Elle s'emploie quand les enjeux sont connus mais que l'éventail des réponses ne l'est pas.

La famille fermée se décline en quatre formes, et le choix de la forme décide de ce que l'on pourra faire des réponses.

La formulation décide de la mesure. Les travaux du Pew Research Center montrent qu'un changement mineur de tournure, d'ordre ou d'options de réponse déplace couramment l'opinion mesurée de plusieurs points de pourcentage et parfois de plus de dix. Trois conséquences pratiques en découlent. Une question orientée, « n'êtes-vous pas d'accord que... », installe la réponse qu'elle prétend mesurer; on demande l'opinion réelle, « comment évaluez-vous... ». Une question à double détente, qui interroge deux choses à la fois, « la rémunération et les perspectives sont-elles satisfaisantes », ne peut recevoir de réponse propre et se scinde en deux. Et une échelle ordinale se présente dans son ordre, parce que l'ordre est l'information. Les questions ouvertes, enfin, se dosent: leur taux de non-réponse par item avoisine dix-huit pour cent, contre un à deux pour cent pour une fermée, et un questionnaire qui en abuse se vide en cours de route.

Les trois temps: préparer, distribuer, documenter

Préparer. On définit l'objectif, puis la population cible avec sa taille et ses variations de culture, de langue et de localisation. On choisit le dosage des questions fermées et ouvertes, et l'on décide de l'échantillon: interroger toute la population ou en tirer un sous-ensemble par une méthode d'échantillonnage. On arrête les modes de distribution et de collecte, un taux de réponse visé et un calendrier, et l'on décide s'il faut adosser des entretiens au sondage, celui-ci n'offrant pas la profondeur de ceux-là. On rédige les questions à partir de l'objectif, chacune servant un but précis. Puis on teste le questionnaire sur quelques répondants: ce test de terrain fait apparaître les questions ambiguës, les sauts de logique cassés et les échelles mal calibrées avant l'envoi, quand ils se corrigent encore. Un instrument mal conçu ne se répare pas après coup: il faut le reprendre et relancer le sondage.

Distribuer. On communique l'objectif du sondage, l'usage qui sera fait des résultats et les dispositions de confidentialité ou d'anonymat prises. Ces trois messages décident du taux de réponse et de la franchise des réponses. On choisit le canal selon l'urgence, le niveau de sécurité requis et la dispersion géographique. L'anonymat, quand il est promis, doit être réel jusque dans la manière de restituer les résultats, faute de quoi les répondants le sentent et se taisent.

Documenter. On rassemble et l'on résume les réponses, on dégage les thèmes qui émergent des questions ouvertes, on formule les catégories de codage et l'on découpe les données en incréments mesurables. C'est ici que les questions fermées deviennent des proportions et que le texte libre devient un jeu de thèmes dénombrés. La fouille de données prend le relais lorsque le volume de réponses fermées justifie une analyse de motifs plus poussée que le simple dépouillement.

Les nombres qui rendent le sondage honnête

Trois nombres transforment un tas de réponses en une mesure défendable, et les confondre est la source de presque toutes les erreurs de la discipline.

Le taux de réponse est le nombre de réponses exploitables divisé par le nombre de personnes éligibles qui ont effectivement reçu le questionnaire. Le dénominateur est la liste des destinataires joignables et concernés: une adresse invalide, un destinataire hors périmètre sortent du dénominateur. C'est le point de l'AAPOR: un taux de réponse se calcule sur l'échantillon éligible.

La marge d'erreur d'une proportion vaut z·√(p(1−p)/n), où p est la proportion observée et n la taille de l'échantillon. Au niveau de confiance de 95%, z vaut 1,96; on utilise 1,645 à 90% et 2,576 à 99%. Quand p est inconnue au moment de concevoir le sondage, on retient le cas le plus défavorable, p égale 0,5, qui maximise p(1−p).

La correction pour population finie intervient quand l'échantillon couvre une part appréciable de la population, en pratique au-delà d'environ 5%. On multiplie alors la marge par √((N−n)/(N−1)), où N est la population et n l'échantillon. Quand N est très supérieur à n, ce facteur vaut à peu près 1 et se laisse de côté; quand n est une grande fraction de N, il resserre nettement l'intervalle. La règle est de l'appliquer ou de le déclarer négligeable.

Pour dimensionner l'échantillon à l'avance, la formule de Cochran donne la taille n₀ = z²·p(1−p)/e² nécessaire pour une marge visée e, puis l'ajuste à une population finie par n = n₀/(1 + (n₀−1)/N). C'est ce calcul qui répond à la question « combien de réponses me faut-il », et elle se fait avant l'envoi.

De là, le piège central: un taux de réponse élevé ne donne pas à lui seul une marge d'erreur faible, c'est n qui la commande. Quatre-vingt-dix pour cent de réponses sur une liste de trente personnes font vingt-sept réponses, avec la marge d'erreur de vingt-sept réponses. Le taux de réponse protège contre le biais de non-réponse, la taille de l'échantillon détermine la précision, et les deux nombres répondent à deux questions différentes qu'il ne faut pas mélanger.

Un dernier facteur commande le taux de réponse comme la marge d'erreur: la manière dont l'échantillon est tiré. Seul un échantillonnage probabiliste, où chaque unité de la population a une chance connue et non nulle d'être sélectionnée, autorise à généraliser le résultat à la population avec une marge d'erreur chiffrable. Un échantillonnage non probabiliste, un panel d'auto-sélection ou un échantillon de convenance, ne produit qu'un taux de participation, que l'AAPOR distingue du taux de réponse, et il porte un biais de sélection qu'un grand n ne corrige pas. Mille réponses tirées des seuls volontaires mesurent l'opinion des volontaires, et la marge d'erreur calculée dessus est un ornement mathématique posé sur un échantillon qui ne représente personne de connu.

Considérations IA

L'IA agit aux deux extrémités de la technique, la conception et le dépouillement. À la conception, un modèle de langage produit un premier jeu de questions à partir de l'objectif, et il excelle dans la partie mécanique du travail: transformer une intention en question fermée, proposer les options d'un choix multiple et surtout signaler les tournures orientées et les questions à double détente qu'un rédacteur laisse passer sans les voir. Simuler un test de terrain, en faisant répondre le modèle comme différents profils de répondants, fait remonter certaines ambiguïtés avant l'envoi. Au dépouillement, l'IA gagne sa place sur les questions ouvertes: regrouper des centaines de réponses en texte libre, proposer des catégories de codage et résumer les thèmes est l'étape que le BABOK appelle « formuler les catégories de codage », et c'est un travail où la machine traite en minutes ce qui prenait des jours. C'est aussi l'angle analytique que retient le Guide to Business Data Analytics: structurer les questions autour d'une hypothèse à tester et suivre les réponses au fil de l'eau.

Les limites sont nettes. L'IA ne certifie pas la validité de l'échantillon: un cadre de sondage biaisé le reste quelle que soit la sophistication de l'analyse qui suit, et aucun modèle ne rattrape une population mal tirée. Sur le texte libre, elle fabrique des thèmes plausibles à partir de peu de matière, et un thème inventé a l'aspect d'un thème réel: l'analyste vérifie chaque catégorie contre les verbatims qui la peuplent. La décision sur la signification statistique et sur le taux de réponse reste un jugement humain; le calcul de la marge d'erreur, lui, obéit à une formule. Enfin l'anonymat et la sensibilité des réponses brutes relèvent d'une gouvernance humaine, que le Guide to Business Data Analytics souligne: confier un corpus de réponses nominatives à un service externe communique des données personnelles, et la décision se prend sur le terrain de la protection des données.

Exemples

Une entreprise de services établie à Fribourg mène son sondage annuel de satisfaction auprès de ses 480 collaborateurs. Elle les interroge tous, il s'agit donc d'un recensement. Le questionnaire est anonyme, il mêle quatre formes de question et se répond en cinq minutes.

312 collaborateurs répondent de façon exploitable. Le taux de réponse est donc de 312 / 480, soit 65,0%. Sur la question phare, 58% se déclarent satisfaits ou très satisfaits, c'est la proportion p = 0,58 sur n = 312 réponses. La marge d'erreur à 95% vaut d'abord 1,96 × √(0,58 × 0,42 / 312), soit ±5,5%. Comme les 312 répondants comptent pour 65% de la population de 480, la correction pour population finie s'impose: elle vaut √((480 − 312) / (480 − 1)), soit 0,592, et ramène la marge à 5,5% × 0,592, soit ±3,2%. Le résultat honnête se lit donc « 58% de satisfaits, intervalle de 54,8% à 61,2% à 95% de confiance ».

La leçon du cas tient au rôle exact de chaque nombre. Le taux de réponse de 65% est bon et protège contre le biais de non-réponse, mais la précision vient des 312 réponses, resserrées par la correction pour population finie, qui produisent le ±3,2%. Un calcul de dimensionnement le confirme: pour viser ±5% à 95% avec une proportion inconnue (p = 0,5), la formule de Cochran donne n₀ = 1,96² × 0,25 / 0,05², soit 384, puis n = 384 / (1 + 383 / 480), soit 214. Interroger 214 des 480 collaborateurs aurait déjà suffi pour ±5%; le recensement en a obtenu 312 et, grâce à la correction, descend à ±3,2%.

Visualisations

Un pourcentage de sondage est un intervalle. Le « 58% de satisfaits » de l'exemple désigne le centre d'une fourchette que la marge d'erreur délimite: à 95% de confiance, la vraie proportion de la population se situe entre 54,8% et 61,2%. La bande de ±3,2% posée autour du chiffre est l'unité de lecture correcte, et lire le nombre nu revient à confondre le centre avec la fourchette entière. Deux vagues d'un même sondage qui donnent 58% puis 60% sur des échantillons de cette taille produisent des fourchettes qui se recouvrent largement, et c'est ce recouvrement qui dit si l'écart observé est un mouvement réel ou du bruit d'échantillonnage.

Coût

Le profil de coût est l'inverse de celui de l'entretien: le sondage est cher à concevoir et bon marché à exécuter, là où l'entretien se prépare vite mais se paie à chaque répétition. C'est ce qui en fait le meilleur emploi du budget dès que la population dépasse quelques dizaines de personnes.

Outils

L'outillage minimal est une feuille de calcul et un courriel: un questionnaire tapé, envoyé en pièce jointe et dépouillé à la main convient à un petit sondage interne de quelques dizaines de réponses. Il montre vite ses limites, la saisie manuelle des réponses étant à la fois lente et source d'erreurs.

Les formulaires en ligne (Microsoft Forms, Google Forms) sont le choix courant: ils capturent les réponses directement dans un tableau, gèrent les sauts de logique et tabulent les questions fermées sans ressaisie. Les plateformes de sondage spécialisées (Qualtrics, SurveyMonkey, Typeform, Tally) ajoutent ce qui compte à plus grande échelle: gestion des quotas et des panels, pilotage de la distribution, suivi du taux de réponse en temps réel et relances ciblées. Pour un sondage interne portant sur des données sensibles, LimeSurvey mérite une mention à part, parce qu'il est libre et hébergeable sur une infrastructure suisse: le lieu de traitement et de conservation des réponses est ici un critère de choix au moins aussi important que les fonctionnalités.

En aval, l'analyse se scinde selon le type de question. Les réponses fermées appellent un tableur pour le dépouillement simple, puis un outil statistique (R, Python, SPSS) dès qu'il faut calculer des marges d'erreur, tester une signification ou croiser des variables. Les réponses ouvertes appellent un outil de codage qualitatif (Dovetail, MAXQDA, NVivo, Atlas.ti) ou une chaîne assistée par un modèle de langage pour le regroupement thématique, à condition que l'analyste relise les catégories produites. Le fil qui relie tout cela est la traçabilité: chaque proportion publiée garde le lien vers la question, l'échantillon et le taux de réponse dont elle est issue, sans quoi le chiffre survit à ses propres conditions de validité et se met à circuler seul.

Sources

• IIBA, A Guide to the Business Analysis Body of Knowledge (BABOK Guide) v3, §10.45 Survey or Questionnaire: la définition, les deux types de questions, les trois éléments (préparer, distribuer, documenter) et les forces et limites énoncées.
• IIBA, Guide to Business Data Analytics, §3.17 Survey or Questionnaire: l'angle analytique, questions structurées autour d'une hypothèse, suivi du taux de réponse pour la signification, anonymat et retour de changement par unité fonctionnelle.
• Cochran, W. G., Sampling Techniques, 3e éd., John Wiley & Sons, 1977: la formule de taille d'échantillon, la correction pour population finie et la marge d'erreur d'une proportion.
• AAPOR, Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys: la définition du taux de réponse sur l'échantillon éligible.
• AAPOR Task Force, Report on Non-Probability Sampling, 2013: la distinction entre échantillonnage probabiliste et non probabiliste, puis celle entre taux de réponse et taux de participation.
• Pew Research Center, Writing Survey Questions: l'effet de la formulation sur la mesure, les questions orientées, l'ordre des échelles et la non-réponse des questions ouvertes.