Les biais

Ce que l'IA fait bien ici, ce qu'elle fait mal

Ce qu'elle fait bien

• Traiter un cas fréquent: un cas que les données contiennent souvent reçoit des résultats stables.
• Appliquer la même règle: le même dossier reçoit le même résultat, quels que soient l'heure et le gestionnaire.
• Rendre une préférence mesurable: une mesure des erreurs par groupe fait apparaître la règle apprise.

Ce qu'elle fait mal

• Traiter un cas rare: un site qui fournit 10% des exemples pèse peu à l'entraînement.
• Changer de contexte: un modèle entraîné sur un site applique les pratiques de ce site aux autres.
• Distinguer l'indicateur du phénomène: il apprend ce que l'indicateur enregistre, même quand celui-ci décrit mal la réalité.
• Douter de ses étiquettes: il apprend la «bonne» réponse fixée par les annotateurs avec leurs erreurs et leurs habitudes.
• S'écarter de l'historique: un modèle entraîné sur des décisions passées reproduit les préférences qu'elles contiennent.
• Signaler sa déformation: un résultat biaisé sort avec la même assurance qu'un résultat juste.
• Ignorer un attribut retiré: il retrouve le sexe ou l'origine par un club, une école ou un NPA.
• Laisser ses données intactes: ses recommandations orientent les décisions qui alimentent son prochain entraînement.

Une erreur qui penche toujours du même côté

Tout modèle se trompe. Une erreur aléatoire tombe tantôt d'un côté, tantôt de l'autre. Sur un grand nombre de cas, elle se compense. Un biais s'additionne: sur mille cas du même groupe, l'écart reste du même côté. Un modèle qui sous-estime de 5% chaque sinistre déclaré au Tessin a un biais, même si son erreur moyenne reste faible.

Le NIST est l'institut national des normes et de la technologie des États-Unis. Sa publication SP 1270 classe les biais selon leur origine. Les biais systémiques viennent des institutions: leurs pratiques avantagent certains groupes. Les biais statistiques et computationnels viennent d'un échantillon qui ne représente pas la population visée. Les biais humains sont des erreurs de jugement des personnes qui conçoivent, alimentent ou utilisent le système. Le NIST situe leur entrée à chaque phase du cycle de vie. Ce cycle va de la conception au déploiement. Le rapport technique ISO/IEC TR 24027 suit le même cycle depuis la collecte des données jusqu'à l'usage.

Les points d'entrée d'un biais

Alpinor est un assureur fictif. Il entraîne un modèle qui signale les déclarations de sinistre à examiner pour fraude. Ses données comptent sur cinq ans 9'000 dossiers de l'agence de Lausanne et 1'000 de l'agence de Lugano.

Collecte: qui ou quoi manque dans les données?

Les pratiques de Lugano, ses types de sinistres et ses clients forment 10% des exemples. Le modèle les voit peu. Un usage courant au Tessin est rare dans les données. Il peut ressembler à une anomalie et déclencher un signalement. Les valeurs manquantes aggravent l'écart. Supposons que Lausanne remplisse toujours le champ «montant estimé» et que Lugano le laisse vide dans un dossier sur trois. Une analyse qui écarte les lignes incomplètes fait tomber la part de Lugano de 10% à 7% environ: 667 dossiers sur 9'667.

Mesure: l'indicateur décrit-il la réalité?

Personne n'observe la fraude directement. Un dossier reçoit l'étiquette «fraude» seulement si un gestionnaire l'a transmis au service d'enquête. Un dossier jamais transmis reste «conforme». Le modèle apprend donc les choix de transmission des gestionnaires. Un gestionnaire qui transmettait plus volontiers les dossiers d'une catégorie de clients a laissé cette habitude dans l'indicateur.

Étiquetage: qui décide de la «bonne» réponse?

Un dossier transmis reçoit ensuite «fraude» ou «conforme». À Lausanne, un enquêteur fixe l'étiquette après examen. À Lugano, le gestionnaire la coche à la clôture du dossier selon ses propres critères. Le modèle traite les deux étiquettes comme une seule vérité et apprend les critères et les erreurs de chaque personne qui a étiqueté.

Modèle: quelles tendances sont renforcées?

L'entraînement ajuste les paramètres du modèle pour réduire l'erreur sur tous les exemples. Un modèle de langage s'entraîne de la même manière. Les dossiers lausannois sont neuf fois plus nombreux: leurs régularités pèsent davantage dans l'erreur à réduire et deviennent la règle pour les deux agences. Les cinq points d'entrée valent aussi pour un modèle de langage. Son corpus tient lieu de collecte, les notes de ses annotateurs tiennent lieu d'étiquetage.

En 2018, Reuters a révélé l'outil de tri de CV qu'Amazon avait abandonné début 2017. Amazon l'avait entraîné sur dix ans de candidatures reçues surtout d'hommes. L'outil pénalisait les CV qui contenaient le mot «women's» (comme dans «women's chess club captain») et déclassait les diplômées de deux universités féminines. Amazon a neutralisé ces termes. Selon les sources de Reuters, rien ne garantissait que le modèle ne trouverait pas d'autres indices pour trier ainsi.

Usage: la sortie influence-t-elle les décisions suivantes?

Alpinor met le modèle en service. Les enquêteurs examinent en priorité les dossiers qu'il signale et trouvent des fraudes surtout là où ils cherchent. Ces constats deviennent les étiquettes du prochain entraînement. Un dossier que le modèle ne signale pas n'est jamais examiné et reste «conforme» dans les données, qu'il soit frauduleux ou non. La décision humaine qui suit le modèle entre elle aussi dans les données. Du modèle au produit décrit cette décision.

Plus de données, le même biais

Un échantillon peut être précis et décrire le mauvais monde. Alpinor ajoute 10'000 dossiers lausannois à son jeu de données. Le jeu double. La part de Lugano passe de 10% à 5%. Les résultats du modèle se stabilisent pour Lausanne. Pour Lugano, le modèle apprend toujours de 1'000 dossiers.

Le volume réduit l'erreur aléatoire. Il laisse l'erreur systématique intacte. Il peut l'aggraver quand les nouvelles données viennent de la même source. Avant d'ajouter des données, l'analyste pose une question: ces données représentent-elles la situation dans laquelle la décision sera prise? Si la réponse est non, l'équipe ajoute des dossiers luganais.

Compter les exemples par catégorie, par site et par période répond à une partie de la question. Le What-If Tool de Google PAIR compte les exemples de chaque groupe et mesure les erreurs d'un modèle pour chacun. Sa page de démonstration charge le jeu «Census Income» de l'UCI avec deux modèles qui prédisent si le revenu annuel d'une personne dépasse 50'000 dollars. Ce jeu est tiré du recensement américain. Ouvrez l'onglet «Performance & Fairness», puis choisissez «sex» dans la liste «Slice by». Le tableau affiche une ligne par valeur. La colonne «Count» donne le nombre d'exemples de chaque valeur.

Une visualisation signale une anomalie possible. Elle ne prouve ni un biais ni sa cause. Une répartition de 90 à 10 décrit peut-être fidèlement une entreprise dont une agence traite neuf dossiers sur dix. Le modèle peut quand même se tromper plus souvent sur Lugano. Cette agence lui fournit peu d'exemples. L'équipe tranche en mesurant les erreurs par agence.

La boucle: les décisions d'hier deviennent la règle de demain

Le mécanisme d'Alpinor vaut partout où les décisions guidées par un modèle deviennent ses étiquettes. Le recrutement en est le cas d'école.

Personne n'introduit de préférence nouvelle. À chaque tour, la préférence du premier historique gagne du poids. Le cas Amazon montre ce premier historique: dix ans de décisions de recrutement.

Survival of the Best Fit est un jeu éducatif d'environ six minutes. Il est soutenu par la fondation Mozilla. Le joueur recrute pour une entreprise qui grandit, puis ses choix entraînent un modèle qui trie les candidatures à sa place. Jouez une partie et comparez les profils que le modèle écarte à ceux que vous avez retenus au début.

Le système enregistre avec chaque décision si elle suit une recommandation du modèle. À l'entraînement suivant, l'équipe sépare ainsi les étiquettes que le modèle a orientées. Les enquêteurs d'Alpinor examinent chaque mois un échantillon tiré au hasard parmi les dossiers non signalés. Les fraudes trouvées là mesurent ce que le modèle manque. Ces dossiers entrent dans l'entraînement sans l'influence du modèle. L'équipe mesure les erreurs du modèle pour chaque groupe, site et période.

Vérifier le résultat

L'analyste passe cette liste sur un jeu de données d'entraînement ou un système d'IA avant sa mise en service.

• L'équipe a-t-elle compté les exemples par catégorie, par site et par période?
• Chaque groupe, site ou période pour lequel le système décidera figure-t-il dans les données?
• L'équipe a-t-elle compté les valeurs manquantes pour chaque groupe?
• Les données viennent-elles de la situation où la décision sera prise?
• L'équipe a-t-elle vérifié que l'indicateur prédit mesure le phénomène visé?
• Les personnes qui ont fixé les étiquettes sont-elles connues?
• Leurs critères d'étiquetage sont-ils écrits?
• L'équipe a-t-elle testé le modèle contre les variables qui remplacent un attribut retiré (école, club, NPA)?
• L'équipe a-t-elle mesuré les erreurs du modèle pour chaque groupe, site et période?
• L'équipe a-t-elle expliqué l'anomalie repérée dans une visualisation avant de la qualifier de biais?
• Les décisions orientées par le modèle reviennent-elles dans ses données d'entraînement?
• Si oui, le système enregistre-t-il avec chaque décision si elle suit une recommandation du modèle?
• L'équipe fait-elle examiner à chaque période un échantillon tiré au hasard parmi les cas non signalés?

Techniques liées

• Comment fonctionne un modèle de langage: l'entraînement qui tire les paramètres d'un modèle de son corpus.
• Du modèle au produit: la place des données, du modèle et de la décision humaine dans un système complet.
• Analyse exploratoire des données: compter les valeurs, repérer les manquants et les répartitions inattendues avant tout modèle.
• Sondage ou questionnaire: juger si un échantillon représente la population visée.