Maturité IA et feuille de route

Ce que l'IA fait bien ici, ce qu'elle fait mal

Ce qu'elle fait bien

• Rapprocher preuves et grille: le modèle rattache chaque document fourni à une dimension et à un niveau.
• Relever une note sans preuve: il signale le niveau qu'aucun document ni aucun système cité ne justifie.
• Comparer les répondants: il liste les dimensions où les notes de deux unités divergent.
• Décomposer un écart: il propose les actions qui font passer une dimension d'un niveau au suivant.
• Signaler une dépendance: il relève qu'une action suppose un accès aux données ou un contrat encore absent.

Ce qu'elle fait mal

• Connaître l'organisation: il note une dimension d'après le ton des documents sans voir les pratiques.
• Juger une preuve: il compte une directive approuvée comme une pratique en place.
• Fixer le niveau cible: il vise le niveau le plus haut partout. Il ignore l'activité et la tolérance au risque.
• Se comparer au secteur: il invente une moyenne de branche ou cite des chiffres d'enquête périmés.
• Citer un modèle de maturité: il fond les noms de niveaux de plusieurs modèles en une échelle qui paraît publiée.
• Ordonner les actions: il place une action avant que l'écart dont elle dépend soit fermé.
• Conclure à la conformité légale: il déduit d'un bon niveau de gouvernance qu'un système respecte l'AI Act.

Déroulé

Dimensions et niveaux

Un modèle de maturité découpe l'organisation en dimensions et décrit pour chacune une suite de niveaux. En 2021, Sadiq et ses coauteurs ont comparé quinze modèles de maturité de l'IA. Les dimensions qui y reviennent sont les données, l'analytique, la technologie et les outils, l'automatisation intelligente, la gouvernance, les personnes et l'organisation. Les auteurs ne trouvent aucune terminologie commune. La plupart des modèles comptent cinq niveaux.

Aucun de ces modèles ne fait foi. Une grille qui mêle les dimensions de deux modèles paraît publiée alors que personne ne l'a éprouvée.

Un niveau cible par dimension

Selon le livre blanc du VTT, le but n'est pas forcément le niveau le plus haut sur toutes les dimensions. Le bon niveau dépend de l'activité de l'organisation et de sa place dans sa chaîne de valeur. Une fiduciaire de Sion qui achète un assistant de rédaction vise un niveau modeste en technologie. Elle vise un niveau élevé en gouvernance parce que ses dossiers contiennent des données de clients.

Le niveau cible découle des cas d'usage que la direction a retenus. Le NIST AI RMF applique la même logique à ses sous-catégories: voyez ISO/IEC 42001 et NIST AI RMF.

De l'écart à la feuille de route

Aucune publication ne valide une méthode pour tirer une feuille de route d'un profil. Ordonner les écarts relève du jugement. Le profil donne à ce jugement une base que la direction peut examiner. Le livre blanc du VTT enchaîne l'auto-évaluation, l'analyse du graphique des résultats, un atelier de maturité facultatif puis des projets de développement classés par priorité. L'atelier construit une vue commune des cibles avant le premier projet.

Le MIT CISR décrit quatre stades. Au premier, l'entreprise forme son personnel, fixe ses règles d'usage et commence à rendre ses données accessibles. Au deuxième, elle crée ses cas d'usage, lance des pilotes et partage ses données par des API. Au troisième, elle conçoit son architecture pour la réutilisation et étend ses plateformes d'IA. Nous en tirons un ordre: la politique d'usage précède l'extension à tout le personnel, l'accès aux données précède le premier pilote. Le MIT CISR ne fixe aucune dépendance entre des actions.

Les étapes

1. La direction fixe le périmètre. Elle nomme l'unité évaluée, l'horizon de la feuille de route et les cas d'usage retenus. Vous choisissez ces cas avec Identifier et prioriser les cas d'usage IA.
2. L'analyste choisit un modèle publié. Il garde ses dimensions et son échelle. Pour chaque niveau de chaque dimension, il écrit la preuve qui l'établit: un document, un système en service ou une personne qui applique la pratique. Il n'ajoute aucune pondération. Dans l'exemple, le niveau 2 de la dimension Données exige des scans de colis complets dans un système. Le niveau 3 exige en plus un responsable nommé et un export automatique.
3. Des répondants de plusieurs unités notent chaque dimension séparément. Chaque note cite sa preuve. Au moins un répondant vient d'une autre unité que l'équipe notée. Il contrôle la note qu'une équipe se donne à elle-même.
4. Le modèle compare les réponses. Il liste les dimensions où les notes divergent d'au moins deux niveaux et les notes sans preuve. L'analyste retire les données personnelles des documents avant l'envoi. Vous trouverez dans LPD et données confidentielles ce qui peut partir vers un outil.
5. L'analyste vérifie chaque preuve. Il retrouve le document. Il demande au propriétaire du processus si la règle écrite est appliquée. Une directive que personne n'applique ne vaut pas le niveau qu'elle décrit.
6. L'atelier de maturité arrête le profil. Les répondants s'accordent sur le niveau actuel de chaque dimension. La direction fixe ensuite chaque niveau cible à partir des cas d'usage et de sa tolérance au risque. Un niveau cible égal au niveau actuel est une décision valable.
7. Le modèle propose les actions et leurs dépendances. Le prompt modèle lui fournit le profil, les cas d'usage et les contraintes. Le modèle ne fixe ni date ni responsable.
8. L'analyste et les responsables ordonnent la feuille de route. Ils écartent les actions qui ne ferment aucun écart. Ils placent chaque action après celles dont elle dépend. Dans un même horizon, la valeur pour les cas d'usage départage les actions. Chaque action reçoit un responsable et un critère de clôture: la preuve qui fera monter la dimension d'un niveau. Le coût et le rendement de chaque action se chiffrent avec Mesurer le ROI des initiatives IA.
9. La direction approuve la feuille de route. Elle fixe la date de la prochaine évaluation. Cette évaluation reprend la même grille et les mêmes unités. Une grille modifiée entre deux évaluations rend les niveaux incomparables.

Prompt modèle

Tu prépares une proposition de feuille de route IA pour [ORGANISATION].

<profil>
[PROFIL]
</profil>

<cas-d-usage>
[CAS D'USAGE RETENUS]
</cas-d-usage>

<contraintes>
[CONTRAINTES]
</contraintes>

<consignes>
1. Traite seulement les dimensions dont le niveau cible dépasse le niveau actuel.
2. Pour chaque écart, propose au plus trois actions. Pour chaque action, écris ce qui change et la preuve qui montrera que l'écart est fermé.
3. Pour chaque action, liste les actions dont elle dépend. Donne la raison de chaque dépendance en une phrase.
4. Signale ce qu'un cas d'usage de <cas-d-usage> exige et qu'aucune action ne couvre.
5. Range les actions en trois horizons: maintenant, ensuite, plus tard. Place chaque action dans un horizon postérieur à celui des actions dont elle dépend.
6. Garde les niveaux du profil tels quels. Ne propose ni date, ni budget, ni responsable.
7. Ne compare l'organisation à aucune autre entreprise ni à aucune moyenne de secteur.
8. Termine par les questions à poser à la direction.
</consignes>

• [ORGANISATION] donne le secteur, la taille et les outils d'IA en service.
• [PROFIL] reçoit une ligne par dimension: le nom, le niveau actuel, le niveau cible et la preuve retenue en atelier.
• [CAS D'USAGE RETENUS] reçoit la description de chaque cas que la direction a choisi.
• [CONTRAINTES] reçoit les échéances imposées, les contrats en cours et les équipes disponibles. Ce champ ne contient ni montant ni nom de personne.

La consigne 1 écarte les dimensions où la direction ne vise aucun progrès. Les consignes 6 et 7 laissent à la direction ce qui lui revient et privent le modèle des moyennes qu'il invente.

Exemple

Une entreprise de transport de Crissier emploie 140 personnes. La direction a retenu un cas d'usage: prévoir le volume hebdomadaire de colis par dépôt pour planifier les chauffeurs. Une trentaine d'employés rédigent déjà avec un assistant. Certains l'utilisent sur des comptes privés. L'analyste reprend les dimensions du livre blanc du VTT. Des répondants de l'exploitation et des finances les notent. Les valeurs sont inventées.

L'exploitation notait les données à 3. Les finances les notaient à 1. Le modèle a relevé cet écart de deux niveaux. L'analyste a constaté des scans complets dont personne ne répond et que seul le fournisseur du système sait extraire. L'atelier a retenu le niveau 2.

Le modèle a proposé une plateforme de données pour la dimension Technologie. L'analyste l'a écartée: la direction y vise le niveau actuel. Le modèle a aussi relevé que le pilote dépend du contrat avec le fournisseur de prévision. Ce fournisseur, qui traitera des adresses de clients, est un sous-traitant au sens de l'art. 9 LPD. Personne n'avait lié ce contrat manquant au pilote.

La politique d'usage vient au premier horizon et précède l'extension. Pour l'accompagnement des chauffeurs et des planificateurs, voyez La conduite du changement. Le passage du pilote au service se prépare avec Du prototype à la production. La direction réévaluera le profil dans douze mois.

Essayer avec le KI-Readiness-Check

Le KI-Readiness-Check du DFKI et du Mittelstand-Digital Zentrum Kaiserslautern se remplit sans compte. Il est rédigé en allemand et s'adresse aux PME. Ses 40 questions se répartissent entre les dimensions Technologie, Organisation, Umwelt et Menschen. La première étape s'ouvre sur la disponibilité et la qualité des données. Les deux premières questions proposent chacune cinq réponses graduées et la réponse «keine Antwort möglich». Pour chaque réponse, notez la preuve que vous montreriez en atelier. Faites remplir le questionnaire par un collègue d'une autre unité et comparez vos réponses. La dernière étape demande une adresse électronique facultative.

Vérifier le résultat

• Le profil nomme-t-il le modèle de maturité dont il reprend les dimensions?
• Chaque niveau actuel cite-t-il une preuve que l'analyste a retrouvée?
• Des répondants de deux unités au moins ont-ils noté chaque dimension?
• L'atelier a-t-il tranché chaque divergence d'au moins deux niveaux?
• Le niveau cible de chaque dimension vient-il de la direction?
• Chaque niveau cible renvoie-t-il à un cas d'usage retenu ou à une exigence nommée?
• Chaque action ferme-t-elle un écart du profil?
• Chaque action vient-elle après les actions dont elle dépend?
• Chaque action a-t-elle un responsable, un horizon et un critère de clôture?
• Le rapport compare-t-il l'organisation à sa seule cible?
• La date de la prochaine évaluation est-elle fixée?

Limites et risques

Les modèles de maturité sont peu validés. Sur les quinze modèles que Sadiq et ses coauteurs ont analysés, sept ont été validés. Seuls 40% décrivent comment passer d'un niveau au suivant et 46% évaluent la seule technologie. L'analyste présente le profil comme un outil de décision interne.

L'organisation se note elle-même. Une preuve par note et un deuxième répondant d'une autre unité limitent ce biais. L'analyste refuse une note sans preuve.

Les chiffres de comparaison sont anciens. La répartition des entreprises entre les stades du MIT CISR vient d'une enquête d'octobre 2022 auprès de 721 entreprises. Le profil compare l'organisation à sa propre cible. L'analyste retire du rapport toute moyenne de secteur que le modèle avance.

Chaque dépendance porte sa raison. L'analyste écrit cette raison dans la feuille de route pour que la direction puisse la contester.

Un bon niveau de gouvernance ne mesure pas l'exposition légale. Un système d'IA mis sur le marché de l'Union européenne peut tomber sous l'AI Act, quel que soit le profil de l'organisation. Vous classez un système avec AI Act: classification des risques. Un fournisseur qui traite des données personnelles pour l'organisation est un sous-traitant (art. 9 LPD). Le contrat précède le premier envoi de données. Les règles que le personnel suit avec ses outils figurent dans Une politique d'usage de l'IA.

Techniques liées

• Évaluation des données: la dimension Données notée jeu de données par jeu de données. Sa section Considérations IA traite le corpus d'un assistant génératif.
• Analyse des capacités métier: l'écart entre la performance actuelle et la performance voulue de chaque capacité. Sa section Considérations IA traite la note qu'un modèle propose.
• Feuille de route produit: la forme «maintenant, ensuite, plus tard» et la révision de la feuille de route. Sa section Considérations IA traite l'ordre des thèmes.