Les leçons apprises

Ce que l'IA fait bien ici, ce qu'elle fait mal

Ce qu'elle fait bien

• Lire un corpus de rapports: le modèle extrait les constats de dizaines de rapports plus vite qu'une personne.
• Rapprocher des formulations: le modèle réunit sous un thème des constats écrits avec d'autres mots.
• Citer sa source: quand le prompt l'exige, chaque constat porte son passage et l'identifiant du rapport.
• Signaler un silence: quand le prompt l'exige, le modèle marque la cause qu'un rapport n'écrit pas.
• Compter les rapports: le modèle indique pour chaque thème les rapports qui le portent.

Ce qu'elle fait mal

• Séparer mots et causes: deux rapports qui écrivent «manque de ressources» peuvent décrire deux causes différentes.
• Voir ce que les rapports taisent: la décision prise dans les couloirs ou la promesse orale au client n'y figurent pas.
• Lire un long lot uniformément: collés dans un seul prompt, les rapports du milieu pèsent moins sur le résultat.
• Citer exactement: le modèle peut attribuer à un rapport une phrase qui n'y figure pas.
• Interpréter les nuances: le modèle généralise vite et manque le thème que seul le contexte éclaire.
• Rendre les mêmes thèmes: relancé sur les mêmes constats, le modèle découpe les thèmes autrement. La page Comment fonctionne un modèle de langage explique pourquoi deux exécutions donnent deux réponses.
• Voir les projets absents: un projet arrêté sans rapport de clôture n'entre pas dans le corpus.

Déroulé

Le BABOK décrit les leçons apprises comme la compilation des succès, des possibilités d'amélioration, des échecs et des recommandations pour les projets suivants (10.27). La séance passe en revue les écarts et leurs causes racines. La fiche Leçons apprises décrit cette séance et son registre. Le modèle part des traces écrites des projets clôturés: les rapports de clôture, les notes de rétrospective et les rapports d'avancement. Leurs auteurs écrivaient pour un autre lecteur. Les risques d'un nouveau projet tirés de ses documents relèvent de la page Identifier les risques.

1. Le chef de projet rassemble le corpus. Il choisit les rapports de projets comparables au projet qu'il prépare et donne à chacun un identifiant: P1, P2 et la suite. Il remplace les noms de personnes par des rôles et les noms de clients et de fournisseurs par des codes. Un rôle tenu par une seule personne identifie encore cette personne. Le chef de projet le généralise («un membre de l'équipe de développement») ou traite le rapport comme porteur de données personnelles. Il note à part les projets arrêtés sans rapport de clôture. Quand le corpus tient en une lecture, le chef de projet lit les rapports lui-même.
2. Le modèle extrait les constats d'un rapport à la fois. Le prompt de l'étape 2 place le rapport en tête dans une balise <document> avec son identifiant. Les consignes suivent. Le modèle cite le passage avant de résumer le constat. Il reprend la cause et la recommandation que le rapport écrit et marque «NON CONSIGNÉ» celles que le rapport n'écrit pas. Un rapport par appel évite que les rapports au milieu d'un long prompt pèsent moins. La page L'analyse documentaire à grande échelle décrit cet effet.
3. Le chef de projet contrôle les extraits. Il retrouve chaque passage cité dans son rapport. Un passage introuvable est une hallucination. Le chef de projet retire le constat du tableau. Il remplace par «NON CONSIGNÉ» toute cause que le modèle a déduite au lieu de la lire.
4. Le modèle regroupe les constats. Le chef de projet ouvre une nouvelle conversation avec le prompt de l'étape 4 et les seuls constats contrôlés. Le modèle rend des thèmes avec les rapports qui les portent. Il liste à part les constats isolés: ceux qu'il n'a rattachés à aucun thème et ceux d'un thème qu'un seul rapport porte. La page Les chaînes de prompts explique pourquoi le regroupement attend le contrôle des extraits.
5. Le chef de projet éprouve chaque thème. Il lit côte à côte les passages d'un thème et se demande s'ils décrivent la même chose. Il retire le rapport qui fournit le plus de constats et regarde si le thème tient encore. Il interroge ensuite une personne de chaque projet du thème. Elle ajoute ce que le rapport ne consigne pas: pourquoi une décision a été prise, quel avis a été écarté, ce que le client a obtenu oralement, la taille de l'équipe à ce moment. La fiche Analyse des causes racines dit comment traiter une cause proposée par un modèle.
6. Le chef de projet écrit l'action pour le projet suivant. Un thème dont la cause est vérifiée devient une entrée du registre des risques du nouveau projet ou un point de la séance de lancement. Un succès devient une pratique inscrite au plan. Un thème sans cause reste un constat et n'entraîne aucune action. La fiche Leçons apprises décrit le contrôle du responsable et de l'échéance de chaque recommandation.

Prompt modèle

Étape 2: extraire les constats d'un rapport

<document>
<source>[IDENTIFIANT DU RAPPORT]</source>
[TEXTE DU RAPPORT]
</document>

Tu relis le rapport de clôture d'un projet terminé de [ORGANISATION ET DOMAINE].

<consignes>
1. Relève dans <document> ce qui a réussi, ce qui a échoué et les risques survenus.
2. Pour chaque constat, cite d'abord mot pour mot le passage qui le porte. Résume ensuite le constat en une phrase.
3. Reprends la cause et la recommandation que le rapport écrit pour ce constat. Si le rapport n'en écrit pas, mets «NON CONSIGNÉ». Ne déduis aucune cause.
4. N'ajoute aucun constat que le rapport ne porte pas.
5. Rends un tableau: identifiant du constat ([IDENTIFIANT DU RAPPORT]-1, -2…), type (réussite, échec ou risque survenu), constat, passage cité, cause écrite, recommandation écrite.
</consignes>

• [IDENTIFIANT DU RAPPORT] reçoit le code donné à l'étape 1: P1, P2 et la suite.
• [TEXTE DU RAPPORT] reçoit le rapport anonymisé en entier.
• [ORGANISATION ET DOMAINE] situe le vocabulaire attendu: une administration cantonale, un hôpital, une banque.

Étape 4: regrouper les constats

<constats>
[CONSTATS CONTRÔLÉS]
</constats>

Tu regroupes les constats extraits des rapports de clôture de plusieurs projets.

<consignes>
1. Regroupe en thèmes les constats qui décrivent le même phénomène sous d'autres mots.
2. Pour chaque thème, donne un libellé, les identifiants des constats et le nombre de rapports distincts. Cite deux passages tirés de rapports différents.
3. Reprends les causes écrites des constats du thème. Si elles divergent, liste-les séparément. Ne propose aucune cause absente de <constats>.
4. Liste à part les constats que tu n'as rattachés à aucun thème. Un thème porté par un seul rapport va dans cette liste.
5. Rends un tableau: thème, constats, rapports distincts, passages cités, causes écrites.
</consignes>

• [CONSTATS CONTRÔLÉS] reçoit les tableaux de l'étape 2 que le chef de projet a contrôlés à l'étape 3.

Anthropic conseille de placer les longs documents en tête du prompt et de faire citer les passages utiles avant la réponse. Les deux prompts suivent ce conseil. Vous pouvez les essayer sans données de votre organisation sur les leçons que la NASA publie dans le NASA Lessons Learned Information System. Chaque leçon décrit l'événement qui l'a déclenchée et ses recommandations. Copiez cinq à dix leçons sur un même sujet et passez-les une à une dans le prompt de l'étape 2. Ces leçons portent sur l'ingénierie plus que sur la conduite de projet. Ne collez dans un service d'IA que les rapports que votre organisation autorise à y envoyer.

Exemple

L'office informatique d'un canton romand prépare le remplacement de son logiciel de gestion des subventions. Le chef de projet rassemble les rapports de clôture de six projets menés depuis 2020 et les note P1 à P6. Un septième projet a été arrêté en 2022 sans rapport. Le modèle a extrait les constats de chaque rapport, puis les a regroupés. Le chef de projet a contrôlé chaque passage et interrogé les personnes joignables de chaque projet.

Le modèle a rendu quatre thèmes et deux constats isolés. Le thème «Manque de ressources» citait trois rapports. Lus côte à côte, ses passages décrivent trois causes que rien ne relie. Le modèle les avait réunis parce qu'ils emploient les mêmes mots. Le chef de projet a scindé le thème. Seule la cause de P2 revient pendant le nouveau projet: les comptes annuels se bouclent chaque année.

Le thème «Reprise des données sous-estimée» citait P1, P3, P4 et P6. Le retard de P6 a une autre cause. Le chef de projet a retiré P6 du thème. P3 fournit le plus de constats. Sans lui, la reprise des données reste portée par P1 et P4. Sa cause vient de la cheffe de projet: aucun des quatre rapports ne la consigne. La validation tardive reste un constat sans cause. Le chef de projet joint au résultat le projet arrêté en 2022.

Vérifier le résultat

• Les noms de personnes, de clients et de fournisseurs ont-ils été remplacés avant l'envoi?
• Chaque rapport est-il passé seul dans le prompt de l'étape 2?
• Chaque passage cité se retrouve-t-il mot pour mot dans le rapport qu'il nomme?
• Chaque cause écrite figure-t-elle dans le rapport ou porte-t-elle «NON CONSIGNÉ»?
• Chaque thème cite-t-il au moins deux rapports de projets différents?
• Le thème tient-il encore sans le rapport qui fournit le plus de constats?
• Les passages d'un thème décrivent-ils la même cause quand on les lit côte à côte?
• Une personne qui a travaillé sur le projet a-t-elle confirmé la cause?
• Les constats isolés ont-ils été relus?
• La liste des projets arrêtés sans rapport accompagne-t-elle le résultat?
• Chaque action porte-t-elle un responsable et une échéance dans le nouveau projet?

Limites et risques

Les rapports ne consignent pas le contexte. Terry Williams a étudié comment les organisations tirent les leçons de leurs projets. Il observe qu'elles négligent souvent de transférer les leçons d'un projet à l'autre. Il nomme comme obstacles le caractère temporaire de l'organisation de projet et la complexité des projets. L'équipe se disperse à la clôture et la raison d'une décision part avec elle. Le modèle ne lit que ce que le rapport a retenu. Le chef de projet interroge les personnes du projet tant qu'elles sont joignables.

Le regroupement reste une interprétation. Castellanos et ses coauteurs ont comparé les thèmes d'un modèle de langage à ceux de chercheurs sur des messages d'un forum d'infirmières. Sur 310 thèmes, le modèle rejoignait le codage humain dans 79,7% des cas et concordait exactement avec lui dans 30,6%. Il trouvait des thèmes que les chercheurs avaient manqués. Les auteurs relèvent aussi qu'il généralise trop, qu'il saisit mal les thèmes qui demandent une interprétation fine et qu'il peut bâtir un sous-thème sur trop peu d'éléments. L'étude porte sur la santé et non sur des projets. Le mécanisme reste le même: le modèle regroupe des mots. Le chef de projet éprouve donc chaque thème à l'étape 5.

Le corpus est biaisé. Le BABOK relève que les participants hésitent à documenter les problèmes et que la discussion perd sa franchise quand ils cherchent un coupable (10.27). Un rapport de clôture retient ce que son auteur a choisi d'écrire. Un projet arrêté sans rapport n'apparaît pas. Le chef de projet joint au résultat la liste des projets absents.

Les rapports contiennent des données personnelles. Un rapport nomme des collaborateurs, juge leur travail et décrit des incidents. Le nom d'une personne identifiable est une donnée personnelle (art. 5 let. a LPD). Un rôle tenu par une seule personne en est une aussi. Le fournisseur qui traite les rapports pour l'organisation est un sous-traitant. L'art. 9 LPD exige qu'un contrat ou la loi lui confie ce traitement. Si le fournisseur traite les données hors de Suisse, l'art. 16 soumet cette communication à une décision d'adéquation du Conseil fédéral ou à des garanties. Le chef de projet généralise à l'étape 1 les rôles tenus par une seule personne et utilise le service que son organisation a évalué. La page «La LPD et les données confidentielles» traite ce cadre.

La responsabilité reste au chef de projet. Il répond des actions qu'il tire du corpus. Il conserve les prompts, les tableaux du modèle et les réponses des personnes interrogées. Chaque action du nouveau projet renvoie au thème et aux passages qui la fondent.

Techniques liées

• Leçons apprises: la séance, le registre et le contrôle des recommandations.
• Rétrospectives: la revue de fin d'itération et ses notes, qui entrent dans le corpus.
• Analyse des causes racines: le passage d'un thème à une cause vérifiée.
• Rapport sur l'état du projet: les rapports d'avancement qui complètent les rapports de clôture.
• Analyse documentaire: la grille de lecture et le contrôle des citations.
• Analyse et gestion des risques: le registre du nouveau projet qui reçoit les leçons.
• Identifier les risques: les risques tirés des documents du nouveau projet.
• Comptes rendus et rapports d'avancement: la rédaction des rapports que le corpus rassemble.
• Les chaînes de prompts: un appel par tâche et un contrôle entre deux appels.
• Les hallucinations: la citation plausible qui ne figure pas dans la source.