AI Canvas
L'AI Canvas est une grille d'une page qui décompose une décision prise sous incertitude. La rangée du haut décrit la décision: la machine fournit la prédiction, les personnes portent le jugement et l'action, le résultat mesure le succès. La rangée du bas décrit les données qui entraînent, alimentent et corrigent la prédiction. Ajay Agrawal, Joshua Gans et Avi Goldfarb l'ont publié en 2018 dans la Harvard Business Review. Le Machine Learning Canvas de Louis Dorard (2015) complète l'AI Canvas: ses dix blocs spécifient le système prédictif qui fournira la prédiction. Le livrable est une page remplie par décision, dont les blocs vides montrent ce que le projet ignore encore.
Objectif
L'AI Canvas sert à cadrer un projet d'intelligence artificielle à partir de la décision qu'il doit servir. Ses auteurs constatent que les progrès récents de l'IA abaissent le coût de la prédiction. Prédire consiste pour eux à produire l'information qui manque à partir de celle qu'on a. Une prédiction moins chère ne change une décision que si quelqu'un sait ce qu'il en fera. Le canevas oblige à l'écrire: ce que coûte chaque erreur, quelle action suit la prédiction, à quoi on reconnaîtra le succès. Avant tout développement, le canevas pose la part humaine de la décision (le jugement et l'action) sur la même page que la part machine.
Le Machine Learning Canvas prend le relais une fois la décision cadrée. Pour Dorard, il cadre sur une page un projet d'apprentissage automatique: ce qu'il faut prédire, la décision que la prédiction alimente, les données nécessaires et ce que coûte une erreur. Il sert aussi à documenter un système prédictif existant. Leurs auteurs ont conçu les deux canevas séparément. L'AI Canvas sert à décider si le projet se lance, le Machine Learning Canvas à dire à l'équipe data ce qu'elle construit.
Le livrable est un canevas rempli par décision. Les blocs vides listent ce qu'il reste à établir avant d'engager un budget.
Usage
Quand l'utiliser
- Cas d'usage retenu avant tout budget: remplir l'AI Canvas pour vérifier qu'une prédiction change une décision nommée.
- Atelier avec la direction ou le métier: prendre l'AI Canvas, qui parle de décision et de coût d'erreur sans vocabulaire de data science.
- Spécification avec l'équipe data: passer au Machine Learning Canvas, qui fixe la tâche, les données, les features, les délais et l'évaluation.
- Système prédictif déjà en production: le documenter sur le Machine Learning Canvas pour voir quel bloc personne ne tient.
- Décision humaine à automatiser: remplir d'abord le bloc Jugement pour chiffrer ce que coûte chaque type d'erreur.
- Offre d'un fournisseur à évaluer: remplir l'AI Canvas avant la démonstration, puis demander au fournisseur quels blocs sa solution couvre.
Quand ne pas l'utiliser
- Décision fondée sur une règle connue et stable: la modéliser dans une table de décision.
- Cas d'usage pas encore choisi: un canevas par idée disperse l'atelier, recenser et prioriser les cas d'usage d'abord.
- Choix entre développer et acheter: le canevas ne tranche pas. Les options se comparent par une analyse make-or-buy.
Description
L'AI Canvas
Agrawal, Gans et Goldfarb ont conçu le canevas en enseignant à des étudiants MBA de la Rotman School of Management de Toronto. Ils le remplissent pour chaque décision dont le résultat dépend d'une incertitude. Les quatre blocs du haut décrivent la décision. Les trois blocs du bas décrivent les données.
Le bloc Prédiction (Prediction) nomme l'information qui manque au moment de décider: cette transaction est-elle frauduleuse, combien de colis arriveront demain au centre de tri. On l'écrit comme une question à laquelle un modèle répond par une valeur ou une probabilité.
Le bloc Jugement (Judgment) chiffre ce que coûte chaque erreur. Une fausse alerte et une alerte manquée coûtent rarement la même chose. Les auteurs réservent ce bloc au jugement humain. Il pèse aussi des facteurs difficiles à chiffrer. La protection de la vie privée en est un. Le jugement peut changer le modèle lui-même: si une alerte manquée coûte plus qu'une fausse alerte, l'équipe accepte davantage de fausses alertes pour en manquer moins.
Le bloc Action nomme ce qu'on fait selon la prédiction. L'action peut être binaire: bloquer la transaction ou la laisser passer. Elle peut aussi offrir un choix plus large: bloquer, demander une confirmation au client ou laisser passer.
Le bloc Résultat (Outcome) dit comment on saura, après coup, que l'action était la bonne. Les auteurs y voient la mesure du succès. Tant que le résultat voulu reste inconnu, ils jugent toute amélioration difficile ou impossible.
Le bloc Données d'entrée (Input) liste ce que le système sait au moment de décider: le montant, le commerçant, l'heure, le pays de la carte.
Le bloc Données d'entraînement (Training) décrit l'historique qui associe des situations passées à leur résultat connu. Le modèle s'y calibre. Si cet historique manque, les auteurs proposent de déployer un modèle médiocre et d'attendre qu'il progresse. Ce choix repose alors sur le bloc Données de retour.
Le bloc Données de retour (Feedback) décrit ce que le système recueille une fois en service. Ces données entraînent le modèle en continu. Elles peuvent rester propres à un site ou s'agréger sur plusieurs. Le résultat observé de chaque action les alimente.
Le Machine Learning Canvas
Louis Dorard a publié le Machine Learning Canvas en 2015 pour cadrer un projet d'apprentissage automatique avant le développement. La version 1.2 compte dix blocs.
Le canevas est centré sur la proposition de valeur. La moitié gauche regroupe les blocs des prédictions: comment le système les produit et les utilise. La moitié droite regroupe les blocs de l'apprentissage à partir des données. Le bloc du bas couvre le système en service. Dorard place les blocs par proximité. En haut de chaque moitié, Décisions et Collecte des données touchent l'intégration dans le métier. En bas de chaque moitié, Production des prédictions et Construction des modèles touchent le moteur prédictif et ses contraintes de délai et de débit.
Le bloc Proposition de valeur (Value Proposition) dit ce qu'on cherche à faire et pourquoi. Il nomme aussi qui utilisera le système ou en subira les effets. Dorard conseille de nommer l'utilisateur final en premier, puis la valeur qu'on lui apporte.
Le bloc Tâche de ML (ML Task) fixe le type de problème (classification, régression…), l'entrée et la sortie à prédire avec ses valeurs possibles. Dorard demande d'y écrire la question précise que le modèle tranche: «Ce courriel est-il important?» Il y ajoute un point de comparaison: ce que fait aujourd'hui une personne ou l'ancienne méthode.
Le bloc Décisions (Decisions) dit quand et comment les prédictions deviennent des décisions qui apportent la valeur promise. Pour Dorard, une prédiction n'est qu'une information: elle ne produit rien tant que personne ne décide sur sa base. Il conseille de commencer sans automatisation complète. Une personne revoit les recommandations du système avant d'agir.
Le bloc Production des prédictions (Making Predictions) fixe quand le système prédit sur une nouvelle entrée et en combien de temps. Il précise la fréquence, le volume et les autres contraintes d'exploitation.
Le bloc Évaluation hors ligne (Offline Evaluation) choisit les méthodes et les métriques qui évaluent les prédictions et leur usage avant le déploiement: les cas de test, la taille du jeu de test, le coût d'un faux positif et celui d'un faux négatif. Un faux positif signale à tort un cas. Un faux négatif laisse passer un cas à signaler. Dans l'exemple des factures de physiothérapie, un faux négatif laisse payer une facture erronée et coûte en moyenne CHF 120. Un faux positif envoie au contrôle une facture correcte et coûte CHF 15. Ces coûts viennent du bloc Jugement de l'AI Canvas et pondèrent la métrique hors ligne.
Le bloc Sources de données (Data Sources) liste les données brutes disponibles.
Le bloc Collecte des données (Collecting Data) dit comment on obtient de nouveaux exemples pour apprendre: leurs entrées et leurs sorties. Dorard demande de penser d'abord à obtenir les sorties. Les sorties sont la donnée rare: le résultat connu de chaque cas passé. Dans l'exemple des factures, la sortie est le résultat du contrôle.
Le bloc Features décrit comment on transforme les données brutes en variables d'entrée du modèle. Dorard y fixe la date à laquelle on observe chaque cas (par exemple l'état du client au 1er du mois) et les fenêtres d'agrégation («achats des trente derniers jours»).
Le bloc Construction des modèles (Building Models) fixe quand on crée ou met à jour un modèle avec de nouvelles données d'entraînement et en combien de temps.
Le bloc Évaluation en production et suivi (Live Evaluation and Monitoring) précise les méthodes et les métriques qui évaluent le système après le déploiement et chiffrent la valeur créée.
Les correspondances entre les deux canevas
Les auteurs ne relient pas les deux canevas.
| AI Canvas | Machine Learning Canvas | Ce que le second précise |
|---|---|---|
| Prédiction | Tâche de ML | Le type de tâche, la sortie et ses valeurs, le point de comparaison humain |
| Jugement | Décisions, Évaluation hors ligne | Les coûts d'erreur deviennent des métriques mesurées avant le déploiement |
| Action | Décisions | Quand et comment la prédiction déclenche l'action |
| Résultat | Évaluation en production et suivi | Les métriques de la valeur créée après le déploiement |
| Données d'entrée | Sources de données, Features, Production des prédictions | La transformation en features et le délai de prédiction |
| Données d'entraînement | Sources de données, Collecte des données, Construction des modèles | La fréquence de mise à jour du modèle |
| Données de retour | Collecte des données, Évaluation en production et suivi | La collecte continue des sorties |
| Aucun bloc | Proposition de valeur | L'utilisateur final et la valeur qu'il reçoit |
Remplir un canevas
- Choisir une décision
Un canevas porte une décision dont le résultat dépend d'une incertitude. «Améliorer le service client» couvre des dizaines de décisions. «Transmettre ou non ce ticket au deuxième niveau» en est une. - Écrire la prédiction
La formuler comme une question fermée ou une valeur à estimer. Si la réponse ne change aucune action, revenir à l'étape 1. - Chiffrer le jugement
Nommer chaque erreur et son coût en francs, en délai ou en risque. Le responsable métier donne ces chiffres. L'équipe data ne peut pas les deviner. - Décrire l'action et le résultat
Nommer qui agit sur la prédiction. Écrire à quoi on verra après coup que l'action était la bonne. - Remplir les blocs de données
Pour chaque donnée, écrire la source, son propriétaire et la date de la dernière vérification. «On doit l'avoir quelque part» laisse le bloc vide. - Lire les blocs vides
Chaque bloc vide ou incertain devient une question avec un responsable et une échéance. Le sponsor décide ensuite de lancer, de reformuler ou d'abandonner. - Passer au Machine Learning Canvas
Une fois la décision tenue, l'équipe data reprend le cas sur le second canevas. Dorard fait commencer par l'utilisateur final, puis par la proposition de valeur.
Pour l'AI Canvas, une séance d'une à deux heures réunit le responsable de la décision, une personne qui la prend chaque jour et une personne de l'équipe data. Sans le responsable, le bloc Jugement reste vide.
Lire les blocs vides
- Jugement vide: personne ne sait régler le seuil du modèle. L'équipe data le choisira sur une métrique technique. Le métier découvrira le coût des erreurs en production.
- Résultat vide: le projet ne pourra pas montrer qu'il a réussi. Pour le remplir, l'équipe nomme au moins un indicateur et la date de sa première mesure.
- Données d'entraînement vides: les auteurs proposent de lancer un modèle médiocre et de le laisser apprendre. Cette option suppose un bloc Données de retour rempli.
- Données de retour vides: une fois en service, le modèle ne voit plus ses erreurs. Personne ne remarque qu'il se dégrade quand les situations changent.
- Données d'entrée marquées «à vérifier»: le projet repose sur des données que personne n'a vues. Un participant ouvre un extrait avant la séance suivante.
Ce qui fait échouer l'exercice
Partir du modèle
L'équipe arrive avec un modèle ou un jeu de données et cherche la décision qu'il servirait. Le bloc Prédiction se remplit en premier, les blocs Jugement et Action restent vagues. Partir de la décision rétablit l'ordre: la prédiction se déduit de ce que la décision ignore.
Un modèle parfait qui ne rapporte rien
Dorard montre qu'un modèle de désabonnement sans erreur peut ne rien rapporter. Un client rapporte CHF 10, une campagne de rétention en retient un sur cinq et chaque contact coûte CHF 2. Contacter un client sur le départ rapporte en moyenne CHF 2 et coûte CHF 2. Le gain reste nul. Le bloc Jugement expose ce calcul avant le développement.
Un retour faussé par l'action
Une fois en service, le modèle influence les données dont il apprend. Si seuls les clients signalés reçoivent une offre, on ne sait plus lesquels seraient partis sans elle. Dorard recommande de garder un échantillon de cas hors de l'action du système. Ces cas de contrôle montrent ce qui se passe sans lui.
Un canevas pour tout un programme
Un programme d'IA touche des dizaines de décisions. Un canevas unique mélange leurs prédictions et leurs coûts d'erreur. Aucun bloc ne se lit plus. Les auteurs remplissent un canevas par décision critique.
Des blocs remplis par optimisme
«Données CRM» dans le bloc Données d'entraînement ne dit ni la période, ni le propriétaire, ni si le résultat y figure. Un bloc qui ne nomme que des systèmes paraît complet en séance. Le premier extrait de données montre ce qui manque. Chaque ligne d'un bloc de données porte une source vérifiée ou la mention «à vérifier».
Considérations IA
Un assistant conversationnel produit une première version du canevas à partir d'une description du cas d'usage. Il propose des erreurs possibles pour le bloc Jugement, des sources de données candidates et des questions pour chaque bloc vide. Il relève aussi les incohérences entre blocs: une action qui ne dépend d'aucune prédiction, un résultat que rien ne mesure. Les participants de l'atelier corrigent cette version bloc par bloc.
L'assistant ne remplit pas le bloc Jugement. Le coût d'une erreur est un choix du métier. Un chiffre plausible proposé par un modèle passe ensuite pour une donnée. L'assistant ignore aussi quelles données l'organisation détient. Une source qu'il nomme parce qu'elle est plausible ressemble à une source vérifiée. La description d'un cas d'usage contient souvent des volumes, des coûts et des noms de systèmes internes. L'analyste la soumet seulement à un assistant que son organisation a validé.
Exemples
Une caisse maladie veut trier par un modèle les factures de physiothérapie avant paiement. Le canevas rempli montre ce que signalent ses blocs vides.
Le seuil du bloc Action vient du bloc Jugement. Contrôler une facture coûte CHF 15. Payer une facture erronée coûte en moyenne CHF 120. Un contrôle détecte l'erreur et évite ce paiement. Le contrôle devient rentable dès que la probabilité d'erreur dépasse 12,5% (15 divisé par 120).
Le bloc Données de retour est vide. Les factures payées sans contrôle ne passeront plus sous les yeux d'un gestionnaire. Le modèle ne verra donc jamais les erreurs qu'il laisse passer. Le bloc Données d'entraînement porte le même défaut: l'historique ne contient que les factures contrôlées, qu'un gestionnaire avait choisies. Un modèle entraîné sur elles apprend le tri des gestionnaires. La caisse ajoute au bloc Action le contrôle aléatoire de 2% des factures payées automatiquement. Chaque contrôle aléatoire coûte CHF 15. Ce montant est le prix des données de retour. Ces contrôles alimentent le bloc Données de retour et ajoutent à l'historique des factures qu'aucun gestionnaire n'a choisies.
Visualisations
Une couleur marque chaque bloc vide et le signale au premier coup d'œil. Le tableau des correspondances guide le passage d'un canevas à l'autre.
Coût
| Phase | Niveau | Justification |
|---|---|---|
| Préparation | Faible | Choisir la décision, réunir trois à cinq personnes, rassembler ce qu'on sait des données. |
| Exécution | Moyen | Une séance d'une à deux heures pour l'AI Canvas. Le Machine Learning Canvas demande souvent plusieurs séances avec l'équipe data. |
| Documentation | Faible | Une page par décision, mise à jour quand un bloc vide se remplit. |
Outils
Une feuille A3 ou un tableau blanc suffit pour l'AI Canvas. Une équipe répartie sur plusieurs sites utilise un document partagé ou un tableau blanc en ligne.
Dorard publie le Machine Learning Canvas à dix blocs sur ownml.co en PDF, Word, ODT et Google Doc. Le téléchargement demande une inscription à sa lettre d'information.
Sources
Les deux canevas sont des méthodes d'auteur. Aucun référentiel professionnel ne les décrit.
- Agrawal, A., Gans, J. et Goldfarb, A. (2018), A Simple Tool to Start Making Decisions with the Help of AI, Harvard Business Review, 17 avril 2018: l'AI Canvas et la définition de ses blocs par ses auteurs.
- Dorard, L., Machine Learning Canvas, OWNML: la présentation du canevas par son auteur, la version 1.2 et les modèles à télécharger.
- Dorard, L. (2016), From Data to AI with the Machine Learning Canvas (Part I), Medium: les dix blocs, leurs questions et leur disposition.
- Dorard, L., From Data to AI with the Machine Learning Canvas (Part II), LinkedIn: la collecte des données et les features.
- Dorard, L., From Data to AI with the Machine Learning Canvas (Part III), LinkedIn: la proposition de valeur, la tâche de ML, les décisions revues par une personne et l'échantillon de contrôle.
- Dorard, L., From Data to AI with the Machine Learning Canvas (Part IV), LinkedIn: la production des prédictions, l'évaluation hors ligne et le modèle de désabonnement qui ne rapporte rien.