Analyse de la performance technique
L'analyse de la performance technique compare la valeur atteinte par un paramètre technique du produit à la valeur prévue pour la même date. Le paramètre est une grandeur mesurable: un poids, un temps de réponse, un nombre de défauts livrés, une capacité de stockage. Le PMBOK Guide range la technique parmi les outils de la surveillance des risques. Selon lui, un écart peut signaler l'impact d'une menace ou d'une opportunité. L'ingénierie système nomme ces paramètres technical performance measures (TPM). Elle fournit la méthode: un profil planifié, une bande de tolérance et un seuil.
Objectif
L'analyse de la performance technique projette la valeur d'un paramètre technique sur la durée du projet, relève sa valeur réelle à chaque jalon et compare les deux pour éclairer une décision.
La technique répond à une question propre au produit: atteindra-t-il sa cible technique? Un écart hors des limites prévues révèle un problème technique quand il reste du temps pour le corriger. La Defense Acquisition University (DAU) du Département de la Défense américain décrit cette fonction comme une alerte précoce. Le mandant et l'équipe en tirent la décision: poursuivre, corriger la conception, demander un changement ou accepter le risque.
Le plan technique liste les paramètres suivis. L'équipe technique fixe pour chaque paramètre un profil planifié avec sa bande de tolérance et son seuil. À chaque jalon, l'équipe livre un graphique et un commentaire. Le PMBOK Guide compte les mesures de performance technique parmi les données de performance du travail. Elles entrent dans la surveillance des risques et en ressortent comme informations sur la performance du travail. Ce processus suit les risques identifiés, en détecte de nouveaux et évalue l'efficacité des réponses. L'analyse alimente aussi les autres sorties de la surveillance des risques: les demandes de changement et les mises à jour du registre et du rapport des risques.
Usage
Quand l'utiliser
- Exigence technique chiffrée et incertaine: suivre un poids, un temps de réponse ou une capacité que la conception peut manquer.
- Paramètre mesurable seulement sur le produit intégré: suivre dès le début les paramètres de composants qui le déterminent.
- Critère d'acceptation chiffré dans un contrat: savoir plusieurs jalons avant l'acceptation si le fournisseur tiendra le seuil.
- Projet conforme au budget et au planning: vérifier que le produit avance aussi vers sa cible technique.
- Marge technique partagée entre sous-systèmes: suivre la consommation d'une marge de masse, de puissance ou de mémoire.
- Revue technique ou revue de phase: présenter l'état des paramètres critiques et leur estimation actuelle.
Quand ne pas l'utiliser
- Résultat sans paramètre technique quantifiable: suivre un processus ou une organisation avec des métriques et KPI.
- Paramètre impossible à projeter dans le temps: le vérifier comme critère d'acceptation par la planification des tests et des inspections.
Description
Les éléments
La définition de la TPM vient de la NASA. L'objectif vient du graphique type de la DAU. Les autres termes suivent le glossaire de la DAU.
- Mesure de performance technique (TPM): une caractéristique physique ou fonctionnelle du produit que le projet juge critique pour une exigence.
- Valeur planifiée: la valeur prévue du paramètre à une date donnée, dans l'unité du paramètre. La valeur planifiée (PV) de la gestion de la valeur acquise porte le même nom et se compte en francs.
- Profil planifié: la suite des valeurs planifiées pour chaque jalon.
- Bande de tolérance: les limites d'alerte autour du profil. La DAU les fonde sur l'erreur d'estimation prévue. Une estimation précoce porte plus d'erreur qu'une mesure finale: la bande se resserre vers la fin.
- Seuil: la valeur limite acceptable. Le contrat la fixe souvent. Le PMBOK Guide appelle seuil la valeur qui déclenche une action. La limite de la bande joue ce rôle.
- Objectif: la valeur que l'équipe vise à l'achèvement. Elle se situe du bon côté du seuil.
- Réalisé à ce jour: la valeur mesurée ou estimée au jalon.
- Écart: la valeur planifiée moins le réalisé à ce jour. Son signe se lit selon le sens du paramètre. Pour un temps de réponse, un écart négatif est défavorable.
- Estimation actuelle: la valeur attendue du paramètre à l'achèvement.
Du besoin au paramètre
L'équipe dérive chaque paramètre du besoin par niveaux successifs: MOE, MOP, TPM. La mesure d'efficacité (MOE, measure of effectiveness) exprime ce que l'utilisateur doit pouvoir faire en exploitation. Elle peut rester qualitative. La mesure de performance (MOP, measure of performance) traduit la MOE en une caractéristique chiffrée du système. Plusieurs MOP servent souvent une même MOE. La DAU et la NASA tirent les TPM des MOP.
La DAU explique pourquoi suivre un paramètre de composant plutôt que la MOP elle-même. La vitesse d'un système ne se mesure qu'une fois le produit intégré, sauf par analyse ou simulation. Son poids s'estime à tous les niveaux de la structure de découpage du projet (WBS) et se suit pendant tout le développement. Le poids sert donc d'alerte précoce pour la vitesse. Dans un portail web, le temps de réponse de bout en bout se mesure au test de charge du système intégré. La durée d'un appel à un service tiers et le poids des pages se mesurent dès les premiers composants.
L'analyste métier formule la MOE avec les parties prenantes. Il écrit la MOP en exigence mesurable par l'analyse des exigences non fonctionnelles. L'équipe technique dérive les TPM et en estime le profil.
Vérifiée en exploitation
Mesurées à chaque jalon
Choisir les paramètres
Un projet suit peu de paramètres. La DAU pose les critères de choix:
- Lié à un risque: le paramètre éclaire une zone de la conception identifiée comme risquée.
- Traçable: il remonte à un besoin de l'utilisateur.
- Projetable: son évolution dans le temps se prévoit assez pour tracer un profil.
- Mesurable: une analyse, un test ou une démonstration en donne la valeur en cours de projet.
- Bien placé: il porte sur un élément du découpage qui pèse dans le coût, se trouve sur le chemin critique ou concentre le risque.
L'équipe part de la structure de découpage du projet. Elle cherche pour chaque élément les paramètres qui déterminent une MOP. Le fournisseur suit en général plus de paramètres qu'il n'en rapporte au mandant, parce qu'il travaille à un niveau de détail plus fin.
La séquence de l'analyse
Les étapes synthétisent le PMBOK Guide, la DAU et la NASA. Les étapes 1 à 3 se font une fois au début du projet. Les étapes 4 à 7 se répètent à chaque jalon.
- Dériver les paramètres du besoin, de la MOE à la MOP puis à la TPM.
- Retenir peu de paramètres selon les critères de choix.
- Planifier chaque paramètre: méthode de mesure, profil, bande de tolérance, seuil, objectif et jalons.
- Mesurer ou estimer le paramètre à chaque jalon.
- Calculer l'écart et le situer par rapport à la bande et au seuil.
- Décider et rendre compte par un graphique et un commentaire.
- Reporter le résultat dans la surveillance des risques.
Planifier le paramètre
L'équipe planifie les paramètres dès la spécification fonctionnelle du système. Le plan technique fixe pour chaque paramètre la méthode d'estimation, un profil daté, une bande de tolérance et un seuil. Il nomme aussi les revues et les essais dont dépend le respect du profil.
Le profil suit la maturité prévue de la conception. Un temps de réponse baisse à mesure que l'équipe optimise le code et l'infrastructure. La NASA traite aussi les marges comme des paramètres suivis. Une marge de masse, de puissance ou de mémoire couvre les incertitudes et se consomme au fil du cycle de vie. La NASA impose le suivi de la marge de masse à tout projet matériel. Elle impose celui de la marge de puissance à tout projet alimenté en énergie.
La bande reflète l'erreur d'estimation attendue. Elle dépend de la méthode de mesure et de la part de la conception qui peut encore changer. Une estimation sur maquette justifie une bande large. Un test de charge sur l'environnement final justifie une bande étroite. Le projet décide pour chaque paramètre s'il emploie une bande. Le seuil vient de l'exigence ou du contrat. L'objectif garde une marge par rapport au seuil. Les jalons de mesure suivent les revues, les essais et les livraisons d'incréments déjà prévus.
Mesurer à chaque jalon
L'équipe compare la valeur réalisée à la valeur prévue pour la date. Sans résultat de test, elle prend la meilleure estimation disponible. La méthode change en cours de projet: calcul, puis simulation, puis test. L'équipe note la méthode avec chaque valeur pour que le lecteur du rapport sache ce qu'elle vaut.
Calculer l'écart et le situer
L'équipe situe l'écart par rapport à la bande de tolérance, au seuil et à l'objectif, puis projette la tendance jusqu'à l'achèvement. La projection prolonge la pente des dernières mesures obtenues par la même méthode. Le rapport nomme les points qu'elle utilise et son hypothèse. Cette projection donne l'estimation actuelle, que l'équipe compare au seuil. Une valeur hors de la bande demande une évaluation.
| Situation | Lecture | Décision |
|---|---|---|
| Valeur dans la bande | La conception progresse comme prévu | Poursuivre. Surveiller la pente des derniers jalons. |
| Valeur hors de la bande du côté défavorable | Menace sur l'exigence | Chercher la cause et corriger la conception. Mettre à jour le registre des risques. |
| Valeur hors de la bande du côté favorable | Opportunité ou erreur de mesure | Vérifier la mesure. Réallouer la marge ou réviser le profil par une demande de changement. |
| Estimation actuelle au-delà du seuil | L'exigence ne sera pas tenue sans action | Le mandant choisit entre une correction, un changement de l'exigence et l'acceptation du risque. |
Décider et rendre compte
La DAU décrit le rapport comme un graphique accompagné d'un commentaire. Le graphique montre le profil planifié et les valeurs observées. Le commentaire explique les causes de l'écart, en évalue la gravité, décrit les actions engagées et projette la performance future.
Alimenter la surveillance des risques
Un écart hors de la bande entre dans le registre des risques comme nouveau risque ou relève la probabilité d'un risque existant. Une correction qui touche la conception, le périmètre ou le contrat passe par une demande de changement. Le rapport des risques présente l'état des paramètres critiques au comité de pilotage. Le responsable du risque choisit ensuite la réponse par l'analyse et gestion des risques.
Les techniques voisines
La surveillance des risques du PMBOK Guide emploie aussi l'analyse de réserve.
| Technique | Question | Unité | Référence de comparaison |
|---|---|---|---|
| Analyse de la performance technique | Le produit atteindra-t-il sa cible technique? | L'unité du paramètre: s, kg, Go | Le profil planifié du paramètre |
| Gestion de la valeur acquise | Le travail coûte-t-il et avance-t-il comme prévu? | CHF, jours | La référence de base des coûts et du planning |
| Analyse de réserve | La réserve couvre-t-elle le risque restant? | CHF, jours | La réserve pour aléas et la réserve de gestion |
Selon la DAU, la valeur acquise combinée aux mesures du produit aide à détecter et à comprendre les problèmes de développement. Le PMBOK Guide fait le même lien pour l'indice de performance à terminer (TCPI). Le chef de projet juge si l'indice est atteignable d'après le risque, le temps restant et la performance technique. La variance analysis du guide examine ensemble les écarts de coût, de délai, de ressources et de performance technique.
Les métriques et KPI suivent la performance d'une solution en exploitation. Une TPM est un indicateur avancé: elle porte sur le produit en cours de développement.
Les pièges
Trop de paramètres
Un tableau de trente paramètres ne se lit plus en comité. Les écarts mineurs y masquent l'écart qui compte. Le nombre de paramètres dépend des moyens de mesure et des personnes disponibles pour les suivre. L'équipe garde les paramètres liés à un risque et laisse les autres au suivi interne de l'équipe technique.
Le profil tracé à plat
Un profil fixé sur l'objectif dès le premier jalon ignore la maturité de la conception. Chaque mesure précoce tombe alors hors de la bande. L'équipe s'habitue à l'alerte et cesse de la lire.
Le profil redessiné après chaque mesure
Une équipe qui recale le profil sur la dernière mesure n'a plus d'écart. Le profil fait partie du plan. L'équipe le modifie seulement par une demande de changement qui en donne la raison.
La tendance ignorée
Une valeur qui reste deux jalons de suite près de la limite de la bande annonce une sortie. L'équipe lit la pente des derniers points autant que leur position.
Des mesures qui ne se comparent pas
Un temps de réponse mesuré sous 500 utilisateurs puis sous 3'000 donne deux chiffres sans rapport. Le plan fixe la méthode et les conditions de mesure de chaque jalon. Le rapport signale tout changement de méthode.
Un projet au vert sur le coût et le délai
Un projet peut tenir son coût et son délai pendant que son produit s'éloigne de la cible. La valeur acquise compte le travail accompli. Elle ignore si le produit atteindra sa performance. Un comité qui lit seulement les indices de coût et de délai découvre le problème au test d'acceptation.
Considérations IA
Un modèle de langage propose des MOP et des TPM candidates à partir d'un cahier des exigences. L'analyste soumet chaque candidate aux critères de choix et écarte celles qui ne se mesurent pas en cours de projet. Le modèle propose aussi des paramètres plausibles sans lien avec un besoin écrit: l'analyste les écarte.
Un modèle ajuste une tendance sur les valeurs réalisées et calcule l'estimation actuelle. Deux ou trois mesures comparables donnent une projection fragile. L'équipe vérifie le calcul et présente la projection avec son hypothèse.
Les outils de surveillance des performances applicatives détectent les anomalies par apprentissage automatique. Ils signalent une dérive du temps de réponse entre deux jalons. Ces outils produisent une valeur à chaque livraison. L'équipe désigne la mesure qui fait foi au jalon.
Le modèle rédige le commentaire du rapport à partir du tableau des valeurs et des notes de l'équipe. La cause de l'écart et sa gravité restent un jugement d'ingénieur. Le modèle reprend tels quels le profil, la bande et le seuil du plan technique. Les résultats de test d'un fournisseur et les clauses du contrat restent hors des services en ligne dont l'organisation ne maîtrise pas les conditions d'usage.
Exemples
Un canton renouvelle son portail de déclaration d'impôt en ligne. Le contrat avec le fournisseur fixe un critère d'acceptation: au plus 2,0 s de temps de réponse au 95e centile sous 3'000 utilisateurs simultanés. L'équipe vise 1,5 s. Le rapport au jalon J3 compte un graphique et un commentaire.
| Jalon | Méthode | Planifié (s) | Bande (s) | Réalisé (s) | Écart (s) | Position |
|---|---|---|---|---|---|---|
| J1 | Estimation sur prototype | 3,0 | 2,5 à 3,5 | 3,2 | −0,2 | Dans la bande |
| J2 | Test de charge | 2,6 | 2,2 à 3,0 | 2,9 | −0,3 | Dans la bande, près de la limite |
| J3 | Test de charge | 2,2 | 1,9 à 2,5 | 2,8 | −0,6 | Hors de la bande |
| J4 | Test de charge | 1,9 | 1,7 à 2,1 | |||
| J5 | Test de charge | 1,7 | 1,5 à 1,9 | |||
| J6 (acceptation) | Test de charge | 1,5 | 1,4 à 1,6 | |||
| Cause | Chaque page interroge le registre des contribuables. L'appel dure 0,9 s au 95e centile pour 0,3 s planifiées. | |||||
| Gravité | La tendance exclut l'estimation sur prototype de J1 parce que cette valeur vient d'une autre méthode. Au rythme des deux tests de charge, soit −0,1 s par jalon, le temps de réponse atteindrait 2,5 s à J6. Le seuil est de 2,0 s. | |||||
| Action | Le fournisseur charge les données du contribuable une fois par session. Il estime le gain à 0,8 s par page. L'équipe contrôle le gain à J4. | |||||
| Estimation actuelle | 1,7 s à J6 avec la correction: sous le seuil de 2,0 s, mais hors de la bande de J6 (1,4 à 1,6). Le risque R7 reste ouvert. | |||||
| Registre des risques | Risque R7 «Seuil de temps de réponse manqué à l'acceptation»: probabilité relevée de faible à élevée jusqu'à la mesure de J4. | |||||
Avec la correction, l'estimation tient le seuil mais reste hors de la bande de J6: le comité garde le risque R7 ouvert jusqu'à la mesure de J4. L'alerte tombe trois jalons avant l'acceptation. Le fournisseur corrige la conception au lieu d'échouer au test d'acceptation.
Visualisations
Le graphique du profil réunit sur un même axe du temps le profil planifié, la bande, le seuil, l'objectif et les valeurs réalisées. Quand un projet suit plusieurs paramètres, un tableau de bord les réunit au même jalon. Un paramètre de composant y désigne la cause d'un écart. Le tableau de bord distingue aussi les paramètres rapportés au mandant de ceux que le fournisseur suit pour lui-même.
| Paramètre | Niveau | Planifié | Bande | Réalisé | Position |
|---|---|---|---|---|---|
| Temps de réponse au 95e centile (s) | Rapporté au mandant | 2,2 | 1,9 à 2,5 | 2,8 | Hors de la bande |
| Appel au registre des contribuables (s) | Suivi interne du fournisseur | 0,3 | 0,2 à 0,4 | 0,9 | Hors de la bande |
| Poids moyen d'une page (Ko) | Suivi interne du fournisseur | 900 | 800 à 1'000 | 850 | Dans la bande |
| Taux d'erreur sous charge (%) | Rapporté au mandant | Seuil 1,0 | Sans bande | 0,4 | Sous le seuil |
Coût
| Phase | Niveau | Justification |
|---|---|---|
| Préparation | Élevé | Dériver les paramètres du besoin, estimer un profil et une bande par paramètre, fixer les méthodes de mesure avec l'équipe technique. |
| Exécution | Moyen | Une mesure par paramètre et par jalon. Un test de charge ou une pesée demande un environnement prêt. |
| Documentation | Faible | Un graphique et un commentaire par paramètre et par jalon. Les mises à jour du registre des risques. |
Outils
Le tableur suffit pour tenir le profil, la bande, les valeurs réalisées et le graphique de quelques paramètres.
Les outils de test de charge (Apache JMeter, Gatling, k6) et de surveillance des performances applicatives (Dynatrace, Datadog) produisent les mesures d'un paramètre logiciel. Pour un produit matériel, le logiciel de CAO calcule la masse à partir de la maquette numérique.
Les outils de gestion des exigences (IBM DOORS, Jama Connect, Siemens Polarion) relient chaque TPM à la MOP et au besoin dont elle dérive. Cette traçabilité montre quelle exigence un écart menace.
Sources
- PMI, A Guide to the Project Management Body of Knowledge (PMBOK Guide), 8e éd., §2.7.2.6 et figure 2-53, Section 4 (entrée Work performance data), Section 5 (entrées Technical performance analysis, p. 205, Variance analysis et To-complete performance index), Glossaire (technical performance measures).
- Defense Acquisition University Press, Systems Engineering Fundamentals, janvier 2001, chapitre 14 (Metrics) et supplément 14-A (Technical Performance Measurement), p. 124 à 132.
- NASA, NASA Systems Engineering Handbook, NASA/SP-2016-6105 Rev2, §4.2.1.2.5 (Define MOPs and TPMs), annexe J §7.4 et glossaire (Margin, Technical Performance Measures).

