Méthode Delphi

Objectif

La méthode Delphi tire d'un panel d'experts une estimation qui utilise tout le savoir disponible sans se laisser corrompre par la dynamique de groupe qui gâte une réunion d'estimation ouverte. Elle sert les décisions qui exigent un chiffre qu'aucun calcul ne peut produire: ni historique comparable pour caler un modèle, ni base paramétrique pour dériver une valeur, le seul gisement d'information étant le savoir de quelques experts qui ne s'accordent pas. Interroger un seul expert donne un chiffre fragile, dépendant de son angle propre. Réunir les experts dans une salle donne autre chose, un chiffre bruité par le rang de chacun, par le premier montant prononcé à voix haute et par le confort d'aller dans le sens du groupe.

La décision qu'elle soutient est un engagement pris sous incertitude et sans donnée dure: un coût, une charge en jours-personne, une durée, une quantité à prévoir, sur une initiative assez nouvelle ou assez contestée pour qu'un chiffre improvisé ne tienne pas devant un comité. Delphi organise ce jugement. Elle recueille les estimations séparément, rend compte au panel de ce que le groupe a produit sans dévoiler les identités et laisse les chiffres converger sur plusieurs tours. Elle fabrique un chiffre accompagné de sa dispersion et de la trace des désaccords qui l'ont formé.

Le livrable est une estimation de groupe convergée, exprimée par une valeur centrale, la médiane des estimations du dernier tour et par une mesure de dispersion, l'écart interquartile, qui dit à quel point le panel s'est accordé. S'y ajoute la trace du chemin: la statistique de chaque tour et les justifications des positions extrêmes, qui montrent pourquoi le groupe a bougé et rendent l'estimation auditable. Delphi est l'une des méthodes de la famille de l'estimation, celle vers laquelle on se tourne lorsque le jugement d'experts est la seule matière première et qu'un seul expert ne suffit pas.

Usage

Quand l'utiliser

• Experts dispersés ou distants: des tours écrits et asynchrones là où un atelier ne réunit pas tout le monde.
• Rang ou politique fausseraient le débat ouvert: l'anonymat laisse un junior contredire un cadre sans en payer le prix.
• Risque d'ancrage ou d'entraînement élevé: les estimations du premier tour se forment avant tout chiffre de groupe.
• Aucune base historique ni paramétrique: le jugement d'experts est le seul intrant, et un expert isolé est trop fragile.
• Estimation à fort enjeu ou contestée: une initiative inédite ou un budget disputé justifient le coût de plusieurs tours.

Quand ne pas l'utiliser

• Confrontation ouverte praticable: un atelier facilité ou une séance de planning poker converge plus vite et pour moins cher.
• Décision peu coûteuse ou urgente: un ordre de grandeur (ROM) ou une passe de PERT suffit.
• Panel sans expertise réelle ou au même angle mort: ancrer sur des données par l'estimation paramétrique ou analogue.

Description

Les quatre traits qui définissent la technique

Delphi est un procédé répété qui tient dans quatre traits que Rowe et Wright dégagent comme le noyau commun à toutes ses variantes: l'anonymat, l'itération, la rétroaction contrôlée de la réponse du groupe et l'agrégation statistique des réponses individuelles. Retirer l'un des quatre change la nature de l'exercice.

L'anonymat est la raison d'être de la technique. Les experts répondent séparément et personne, hormis le coordinateur, ne sait qui a avancé quel chiffre. C'est ce qui neutralise l'autorité, la timidité et l'effet d'entraînement: une estimation se défend par son argument. L'itération organise plusieurs tours successifs, parce qu'un expert qui découvre un argument qu'il ignorait a le droit de changer d'avis, et que ce droit est ce qu'une réunion unique refuse. La rétroaction contrôlée est le contenu que le coordinateur renvoie entre deux tours: la statistique du groupe et les raisons invoquées par les estimations extrêmes, jamais l'identité de leurs auteurs. L'agrégation statistique, enfin, résume les réponses d'un tour en une valeur centrale et une dispersion, de sorte que le groupe voit où il se situe sans qu'aucune voix ne domine le compte rendu.

Le cycle des tours

On commence par définir précisément ce qui est estimé et dans quelle unité, car un panel qui répond à des questions légèrement différentes ne converge jamais. Vient ensuite le premier tour: chaque expert livre son estimation indépendamment, sans avoir vu celle des autres ni aucun chiffre de référence, ce qui garantit que le point de départ n'est pas déjà ancré. Le coordinateur calcule alors la médiane et l'écart interquartile du tour et recueille les justifications des estimations les plus hautes et les plus basses. Il renvoie au panel cette rétroaction contrôlée, le couple médiane et dispersion accompagné des arguments, sans jamais dire qui a dit quoi. Au tour suivant, chaque expert révise son chiffre à la lumière de ces arguments ou maintient sa position en la justifiant. On répète jusqu'à une règle d'arrêt fixée d'avance: un seuil de dispersion atteint ou un nombre de tours convenu, typiquement deux ou trois. La convergence se lit à l'écart interquartile qui se resserre d'un tour à l'autre. Le panel compte en général de cinq à une vingtaine d'experts, choisis pour la diversité de leurs connaissances plus que pour leur nombre: un désaccord entre des expertises distinctes est ce qui fait travailler la méthode.

La statistique de groupe: médiane et écart interquartile

Delphi n'impose aucune formule de calcul: le chiffre vient des experts. Ce qui est fixé, c'est la manière de résumer un tour. La statistique canonique est la médiane, non la moyenne. La raison tient à ce que la technique est conçue pour faire remonter les estimations extrêmes: un expert qui voit un risque que les autres ignorent proposera un chiffre très écarté, un signal précieux. Une moyenne se laisse tirer par ce chiffre isolé et déplace le résumé du groupe vers un point que presque personne ne défend; la médiane résiste à cet extrême tout en le laissant vivre dans le débat. La dispersion se mesure par l'écart interquartile, la distance entre le premier et le troisième quartile, c'est-à-dire l'étendue de la moitié centrale des réponses. Un écart interquartile qui rétrécit au fil des tours est la définition opérationnelle de la convergence, et il en dit plus qu'une médiane qui, elle, peut rester stable pendant que le groupe se resserre autour d'elle.

Ce qui fait échouer l'exercice

Le premier piège est le plus grave parce qu'il imite le succès. Le consensus forcé consiste à faire rétrécir l'écart interquartile en pressant les opinions extrêmes de rentrer dans le rang. On obtient alors une tendance centrale sans accord réel: la convergence est un signal, jamais un objectif à produire. Un coordinateur qui pousse les récalcitrants fabrique un chiffre serré et faux, et il détruit l'information que les tours devaient recueillir.

Le deuxième est l'homogénéité du panel. Un groupe qui pense pareil converge vite, et il converge sur son erreur commune: la vitesse de resserrement n'est rassurante que si les expertises réunies sont disparates. Le troisième est le biais du coordinateur. Comme lui seul choisit quelles justifications sont renvoyées au groupe, il oriente le panel par ce qu'il met en avant ou passe sous silence. La rétroaction doit être fidèle, y compris pour les arguments qui dérangent la médiane, sans quoi la méthode ne fait que propager l'opinion de son animateur. Le quatrième est l'attrition: sur plusieurs tours asynchrones, des experts décrochent, et l'agrégat des derniers tours repose sur un panel amputé et parfois biaisé par ceux qui restent. Le cinquième est l'absence de règle d'arrêt. Sans seuil de dispersion ni nombre de tours convenus d'avance, l'exercice s'étire au gré de la patience du coordinateur ou s'arrête sur un tour arbitraire, et la décision de clore devient elle-même une source de biais.

Le procédé formel et son double accidentel

Le protocole Delphi complet, ses tours numérotés, son coordinateur et sa règle d'arrêt écrite, se déroule rarement tel quel hors des exercices de prospective et des panels d'experts institutionnels. Ce qu'on rencontre bien plus souvent, c'est une forme dégradée qui s'installe par accident. Dans une organisation où les équipes travaillent en silos, plusieurs personnes chiffrent la même chose chacune de leur côté, sans se parler, et l'anonymat qui fait la valeur de la méthode se trouve réalisé sans que personne l'ait voulu. Le résultat a l'allure d'un premier tour de Delphi, avec ses estimations indépendantes et non ancrées, et il s'arrête là. L'agrégation en une médiane et un écart interquartile, la rétroaction contrôlée qui fait circuler les arguments des positions extrêmes et les tours qui resserrent la dispersion restent à faire. On se retrouve avec un nuage de chiffres jamais confrontés, que l'on prend à tort pour une estimation.

La conséquence pratique tient en deux étapes. Reconnaître ce Delphi involontaire pour ce qu'il est évite de croire qu'un chiffre partagé existe alors qu'on n'a que des avis parallèles. Le compléter coûte peu, puisque le plus dur, obtenir des estimations indépendantes, est déjà fait: il reste à résumer le tour par sa médiane et son écart, à renvoyer au groupe les raisons des positions extrêmes sans les identités et à conduire un second tour. La méthode commence à l'instant où des gens qui s'ignoraient se mettent à confronter leurs chiffres selon une règle.

Considérations IA

La charge mécanique du coordinateur est l'endroit où un assistant rend le plus de service. Agréger les estimations d'un tour, calculer la médiane et l'écart interquartile, suivre le resserrement de la dispersion tour après tour, tout cela est du calcul sans jugement qu'un modèle ou même un tableur exécute sans faillir. Au delà du calcul, un modèle de langage aide à traiter les justifications en texte libre: les regrouper par thème, résumer fidèlement les arguments des positions extrêmes, préparer une rétroaction lisible pour le tour suivant et signaler quand la dispersion cesse de diminuer, c'est-à-dire quand la règle d'arrêt approche. C'est un gain réel, car la rétroaction soignée est la partie chronophage de l'animation et celle dont dépend la qualité du tour d'après.

Ce qu'un modèle ne peut pas faire tient à la nature même de la technique. Un modèle de langage n'est pas un panéliste. Une estimation qu'il produirait n'a aucune expérience de terrain derrière elle, et elle réintroduit le biais que Delphi existe pour évacuer: elle reflète le consensus de ses données d'entraînement, un ancrage massif et invisible sur ce qui est déjà écrit. Le choix du panel, la lecture de pourquoi un expert dissident tient sa position et surtout le partage entre une convergence honnête et une convergence forcée restent des jugements humains. Enfin les estimations et les justifications individuelles sont des données personnelles au sens de la nLPD et peuvent être politiquement sensibles: l'anonymat qui fait toute la valeur de la méthode doit survivre à l'outil qui agrège, ce qui exclut de verser les réponses nominatives dans un service public dont le traitement des données n'est pas maîtrisé.

Exemples

Une caisse maladie de Suisse romande estime l'effort, en jours-personne, de construction d'un nouveau portail de soumission des décomptes en ligne. Cinq analystes et architectes chevronnés siègent dans des bureaux différents, ce qui rend l'atelier synchrone difficile, et le projet n'a aucun analogue historique sur lequel caler un modèle, ce qui écarte l'estimation paramétrique. Trois tours anonymes sont conduits; les experts sont notés E1 à E5, la médiane et l'écart interquartile sont calculés à chaque tour selon une convention unique tenue constante, le premier quartile pris à la deuxième valeur classée et le troisième à la quatrième.

Tout se joue dans le contraste entre la médiane et l'écart interquartile. La médiane bouge peu, de nonante à cent jours-personne, et un observateur qui ne regarderait qu'elle croirait le premier tour presque juste. Ce qui change, c'est l'écart interquartile, qui passe de 45 à 10: au premier tour le panel était éclaté, de soixante à deux cents jours-personne, et au troisième la moitié centrale des réponses tient dans dix jours. Le moteur du resserrement est la rétroaction. E5, en justifiant son chiffre très haut, a exposé un risque de migration des données que les autres n'avaient pas chiffré; l'argument, renvoyé anonymement, a tiré E1, E2 et E3 vers le haut, tandis que E5, voyant que le risque était sérieux mais borné, a révisé vers le bas. La convergence n'a pas été imposée, elle est venue de l'information qui a circulé sans que le rang de personne ne pèse. La valeur engagée est la médiane du dernier tour, cent jours-personne, assortie de sa dispersion résiduelle.

Visualisations

La technique produit deux objets, et chacun appelle son médium. Le premier est le tableau de convergence: fait de lignes et de colonnes, il est le livrable même, et ses lignes de médiane et d'écart interquartile sont ce qu'un relecteur recalcule pour vérifier que la convergence est réelle. Il reste en HTML, sélectionnable et recalculable, plutôt que figé en image.

Le second est le procédé lui-même, qui se voit mieux tracé que décrit. Le dessin porte le cycle des tours: le questionnaire, les estimations individuelles anonymes, l'agrégation en médiane et écart interquartile, la rétroaction contrôlée qui renvoie la statistique et les arguments des positions extrêmes, puis les estimations révisées, avec une boucle de retour tant que la règle d'arrêt n'est pas atteinte. Il montre d'un regard ce qu'une liste de traits ne fait que nommer: que l'anonymat et la rétroaction sont les deux faces d'une même boucle, répétée jusqu'à la convergence.

Coût

Outils

Un simple formulaire en ligne couplé à un tableur suffit pour un panel de quelques experts: le formulaire recueille les estimations séparément et préserve l'anonymat vis-à-vis du panel, le tableur calcule la médiane et l'écart interquartile de chaque tour en quelques cellules et rejoue le calcul dès qu'une valeur change. Pour la plupart des estimations, rien de plus n'est nécessaire.

Les plateformes Delphi dédiées automatisent le cycle lorsque le panel est nombreux ou les tours répétés: elles gèrent l'envoi des questionnaires, l'anonymisation, l'agrégation automatique et la restitution de la rétroaction, et certaines conduisent un Delphi en temps réel où la rétroaction s'actualise en continu, ce qui abrège le calendrier au prix d'un contrôle plus fin à exercer sur la façon dont la statistique est présentée. Ce surcroît d'outillage se justifie quand la taille du panel ou la fréquence des exercices rend le pilotage manuel ingérable; en deçà, il ajoute une licence sans rien apporter qu'un formulaire et un tableur ne fassent déjà. Quel que soit l'outil, le point non négociable est que l'anonymat et la fidélité de la rétroaction ne dépendent jamais de la commodité de la plateforme.

Sources

• N. C. Dalkey et O. Helmer, «An Experimental Application of the Delphi Method to the Use of Experts», Management Science, 9(3), 1963, p. 458-467: la première publication ouverte de la méthode mise au point à la RAND Corporation, qui pose l'obtention d'un consensus fiable par une série de questionnaires assortis d'une rétroaction d'opinion contrôlée.
• G. Rowe et G. Wright, «Expert Opinions in Forecasting: The Role of the Delphi Technique», dans J. S. Armstrong (dir.), Principles of Forecasting, Kluwer, 2001, p. 125-144: la consolidation méthodologique qui dégage les quatre traits constitutifs (anonymat, itération, rétroaction contrôlée, agrégation statistique), la taille et la diversité du panel et le contenu de la rétroaction entre les tours.
• IIBA, A Guide to the Business Analysis Body of Knowledge (BABOK Guide) v3, §10.19 Estimation: le rangement descriptif de la méthode Delphi parmi les méthodes d'estimation par jugement d'experts. Le BABOK situe la technique dans cette famille et n'en prescrit pas la procédure, laquelle repose sur les travaux de Dalkey et Helmer et sur ceux de Rowe et Wright.