Transparence et explicabilité

Ce que l'IA fait bien ici, ce qu'elle fait mal

Ce qu'elle fait bien

• Reformuler un dossier de décision: le modèle met en langue courante les règles et les seuils des spécialistes.
• Écrire pour plusieurs publics: il tire du même dossier l'avis à la personne et la synthèse pour le relecteur.
• Signaler un motif absent: sur consigne, il écrit «non documenté» là où le dossier ne dit pas pourquoi.
• Comparer un avis à son dossier: il liste les phrases de l'avis qu'aucune ligne du dossier ne fonde.

Ce qu'elle fait mal

• Expliquer sa sortie: sa réponse à «pourquoi?» est un texte généré sans lien garanti avec son calcul.
• Décrire sa méthode: il donne celle qu'enseignent ses données d'entraînement, même s'il en a suivi une autre.
• S'en tenir au dossier: sans motif écrit, il invente une raison plausible que personne n'a appliquée.
• Situer le droit applicable: il peut prêter à la LPD le droit à l'explication de l'AI Act.

Déroulé

Le NIST distingue l'explicabilité, qui décrit les mécanismes du système, de l'interprétabilité, qui donne le sens d'une sortie au regard de la finalité du système (AI RMF 1.0, section 3.5). La personne concernée demande surtout la seconde: quelles données ont compté, quelle règle s'est appliquée, qui a décidé.

Qui informer et de quoi

L'AI Act vise une organisation suisse quand elle met un système sur le marché de l'Union ou que la sortie de son système y sert. Vous trouverez dans la page «AI Act: classer le risque» comment le vérifier. La LPD s'applique aux traitements des personnes privées et des organes fédéraux. Un organe cantonal relève de la loi cantonale sur la protection des données. Le PFPDT rappelle que la LPD vaut directement pour l'IA et que chacun doit pouvoir savoir s'il parle à une machine.

L'article 50 s'applique depuis le 2 août 2026. Le paragraphe 11 de l'article 26 et l'article 86 suivent la date du haut risque de l'annexe III. La page «AI Act: classer le risque» la donne.

Une explication par public

Le NIST pose qu'une explication doit avoir du sens pour son destinataire (NISTIR 8312).

Ce que le modèle peut dire de son calcul

Anthropic a observé l'intérieur d'un de ses modèles pendant l'addition 36 + 59. Le modèle suit deux chemins en parallèle. L'un estime l'ordre de grandeur du résultat, l'autre calcule le dernier chiffre. Interrogé sur sa méthode, le modèle décrit l'addition posée apprise à l'école: additionner les unités, retenir un, additionner les dizaines. Anthropic conclut qu'il ne semble pas connaître sa méthode.

Une explication demandée au modèle reste donc un texte plausible. Elle peut être juste sans que rien ne le garantisse. Vous trouverez dans la page «Le raisonnement par étapes» les mesures qui montrent qu'une explication tait l'indice qui a orienté la réponse. La page «Les hallucinations» explique pourquoi un modèle énonce un fait faux avec assurance.

Le Circuit Tracer de Neuronpedia dessine le chemin interne qu'un petit modèle ouvert suit pour compléter une phrase. Consulter un graphe déjà calculé ne demande pas de compte. L'interface est en anglais. Ouvrez le graphe de la phrase «The capital of the state containing Dallas is» et suivez le chemin de «Dallas» à la réponse «Austin». Cet outil de spécialiste montre que le calcul interne se lit ailleurs que dans la réponse du modèle. Il n'explique aucune décision à une personne concernée.

Les étapes

1. L'analyste recense les personnes à informer. Pour chaque cas d'usage, il relève les situations où la loi impose d'informer. Le juriste confirme les lignes retenues. La politique d'usage de l'organisation dit quand un livrable mentionne l'aide d'un modèle.
2. Le métier tient un dossier de décision par cas. Ses lignes numérotées portent les données d'entrée retenues avec leur valeur, la règle ou le seuil appliqué, le rôle du modèle, l'étape humaine avec son auteur et la marche à suivre pour demander un réexamen. La règle vient du catalogue des règles métier ou d'une table de décision. Quand un score décide, le dossier donne le score, le seuil et les éléments d'explication que la notice du fournisseur prévoit (AI Act, art. 13, par. 3). Le métier tient aussi le journal des décisions: pour chaque cas la date, l'identifiant du cas, les versions du modèle et de la règle, l'avis envoyé et le résultat de la revue.
3. Le modèle reformule le dossier pour la personne concernée. L'analyste lui transmet le dossier et le prompt modèle. Il ne lui demande pas pourquoi le système a produit un résultat: la réponse serait une autre raison plausible.
4. L'analyste compare l'avis au dossier. Il suit le renvoi de chaque phrase vers sa ligne et vérifie que la phrase reprend sans écart le sens et la valeur de la ligne. Il supprime une phrase sans ligne. Il remonte chaque «non documenté» au propriétaire de la règle. Un «non documenté» peut signaler une combinaison que la règle ne couvre pas. Le propriétaire complète la règle, puis le modèle reformule de nouveau. L'analyste retire les renvois entre crochets avant l'envoi.
5. L'analyste décrit la solution sur une page. Mitchell et ses coauteurs ont proposé la model card: un court rapport qui accompagne un modèle et donne son usage prévu et ses performances par groupe. L'analyste en reprend la logique pour la solution entière: finalité, usages prévus et exclus, données d'entrée, performance mesurée par groupe, limites connues, étape humaine et contact. Le métier, l'exploitant et l'auditeur lisent la même page. La norme ISO/IEC 42001 range ces informations parmi les mesures de son annexe A (A.8). Vous trouverez dans la page «ISO/IEC 42001 et NIST AI RMF» ce que la norme demande.
6. Le responsable du traitement organise la revue humaine. L'avis nomme qui contacter et dans quel délai. Une personne physique revoit le dossier contesté et peut changer la décision. Vous trouverez dans la page «Spécifier les exigences d'une solution IA» quand l'article 21 LPD l'impose.

Prompt modèle

Tu rédiges un avis destiné à la personne concernée par une décision. Tu pars du dossier de décision fourni dans <dossier>.

<situation>
[SITUATION]
</situation>

<dossier>
[DOSSIER DE DÉCISION]
</dossier>

<consignes>
1. Appuie chaque phrase de l'avis sur une ligne du dossier. Après chaque phrase, indique entre crochets le numéro de cette ligne.
2. N'ajoute aucune raison, aucun critère et aucun chiffre absents du dossier. Ignore ce que tu sais du domaine.
3. Quand le dossier ne dit pas pourquoi un résultat est sorti, écris «non documenté» à la place de la raison.
4. Dis dans la première phrase qu'un système d'IA a participé à la décision et quel a été son rôle.
5. Nomme chaque donnée retenue avec sa valeur pour que le lecteur puisse signaler une erreur.
6. Termine par la marche à suivre du dossier pour demander un réexamen: qui contacter, comment et dans quel délai.
7. Écris des phrases de vingt mots au plus pour un lecteur sans formation technique.
8. Après l'avis, liste les lignes du dossier que l'avis n'utilise pas.
</consignes>

• [SITUATION] décrit la personne et la décision qui la touche: «une candidate dont la candidature à un logement a été refusée».
• [DOSSIER DE DÉCISION] reçoit les lignes numérotées du dossier. L'analyste y remplace le nom et l'adresse de la personne par un identifiant. Vous trouverez dans la page «La LPD et les données confidentielles» quel service peut recevoir le reste.

La consigne 3 révèle les trous du dossier. La consigne 5 donne à la personne le moyen de repérer une valeur fausse ou incomplète.

Exemple

Une régie de Lausanne reçoit des dizaines de candidatures pour chaque appartement. Un modèle lit les fiches de salaire et l'extrait du registre des poursuites de chaque candidat. Il en tire le revenu brut mensuel et les poursuites en cours. Le logiciel de la régie applique ensuite sa règle: le loyer ne dépasse pas le tiers du revenu brut. Il refuse par courriel les candidatures qui ne la respectent pas et transmet les autres à la gérante. La régie loue en Suisse seulement. Son juriste a écarté l'AI Act et retenu l'article 21 LPD pour le refus automatique.

La candidate a répondu le lendemain: sa fiche de juin ne comptait pas le treizième salaire. Elle a repéré l'erreur parce que l'avis donnait la valeur lue. Le certificat de salaire donne CHF 67'600 par an, soit CHF 5'633 par mois. La gérante a revu la candidature avec ce certificat et l'a retenue. La régie a ensuite modifié R1: la règle compte le revenu annuel divisé par douze.

Avant d'écrire le prompt, l'analyste avait demandé à un assistant pourquoi le système avait refusé cette candidature. L'assistant avait cité un revenu insuffisant et un contrat à durée déterminée. Aucune ligne du dossier ne parle du contrat.

Pour une autre candidature, le modèle qui rédige l'avis a écrit «Motif du refus: non documenté». Le modèle qui lit les documents n'avait pas pu déchiffrer une fiche de salaire scannée de travers. Le dossier portait «revenu: non lu» puis «refus automatique». Aucune règle ne traitait un revenu manquant: le logiciel le comptait pour zéro. La régie a ajouté une règle: un revenu non lu envoie la candidature à la gérante.

Vérifier le résultat

• Chaque phrase de l'avis renvoie-t-elle à une ligne du dossier?
• Chaque phrase reprend-elle sans écart le sens, la valeur et le seuil de sa ligne?
• L'avis est-il libre de toute raison, de tout critère et de tout chiffre absents du dossier?
• Chaque «non documenté» est-il remonté au propriétaire de la règle?
• La première phrase dit-elle qu'un système d'IA a participé et quel a été son rôle?
• L'avis donne-t-il chaque valeur retenue?
• La personne trouve-t-elle dans l'avis qui contacter pour une revue humaine et dans quel délai?
• Les renvois entre crochets ont-ils disparu de l'avis envoyé?
• Une personne extérieure au projet comprend-elle l'avis à la première lecture?
• La description de la solution donne-t-elle la performance par groupe et les limites connues?
• Les documents bruts et le dossier sont-ils partis vers un service que l'organisation a validé?
• Le juriste a-t-il confirmé la base de chaque information due?

Limites et risques

Une raison énoncée par le modèle reste un texte généré. Une explication convaincante accroît la confiance du lecteur sans rendre la décision plus sûre. La piste d'audit reste le dossier de décision et le journal. Le métier les tient. L'analyste compare la reformulation du modèle au dossier.

La lecture des documents expose plus que le dossier. L'étape de lecture envoie au modèle les documents eux-mêmes. Une fiche de salaire porte le nom, l'adresse et souvent le numéro AVS. L'identifiant qui remplace l'identité dans le dossier ne protège donc pas cette étape. La description de la solution nomme le service qui lit les documents bruts. L'organisation doit avoir validé ce service.

La LPD et l'AI Act donnent des droits différents. La LPD ouvre l'accès à la logique de la décision et une revue humaine sur demande. L'article 86 de l'AI Act ouvre le droit à une explication du rôle du système et des principaux éléments de la décision. Aucun texte suisse n'accorde ce droit. Une organisation qui sert des clients dans l'Union peut relever des deux textes. Son avis offre alors sur demande l'explication de l'article 86 et la revue humaine de la LPD. Son texte type d'avis porte les deux. L'analyste demande au juriste quels textes s'appliquent à chaque cas d'usage.

La responsabilité reste à l'organisation. Le modèle rédige l'avis. Le responsable du traitement répond de l'information au sens de la LPD. Le déployeur répond de l'explication au sens de l'AI Act. Le métier valide chaque texte type d'avis avant son premier envoi.

Techniques liées

• Analyse des règles métier: les règles et les seuils que le dossier de décision cite.
• Tables de décision: la table montre les combinaisons qu'aucune règle ne couvre. Le revenu illisible de l'exemple en est une.
• Humain dans la boucle: la place de l'étape humaine et le dossier que le relecteur reçoit.
• Glossaire: les termes de l'avis et de la description de la solution.