Les hallucinations

Ce que l'IA fait bien ici, ce qu'elle fait mal

Ce qu'elle fait bien

• Restituer un fait répandu: un fait répété dans des milliers de textes laisse une trace forte.
• Travailler sur un texte fourni: un résumé ou une traduction se relit contre le passage joint.
• Signaler une information absente: elle le fait quand la demande l'y autorise en toutes lettres.
• Détailler un calcul: l'analyste refait chaque étape écrite et repère l'erreur.

Ce qu'elle fait mal

• Restituer un fait rare: un numéro d'article ou une date peu cités sortent au bon format avec un contenu faux.
• Citer une source: un titre, un auteur, une page ou un lien peuvent être plausibles et introuvables.
• Signaler son incertitude: une réponse fausse sort sur le même ton qu'une réponse exacte.
• Calculer: un total peut découler d'un taux faux. Le bon taux peut aussi donner un total faux.
• Respecter un statut: une demande en attente devient une inscription confirmée, une option devient une décision.
• Laisser un vide: sans consigne contraire, elle le comble par une information plausible.
• S'en tenir aux documents fournis: elle promet un délai, un prix ou une place que personne n'a accordés.
• Tirer une conclusion: elle déduit un résultat métier d'un chiffre, même quand elle a inventé ce chiffre.

Pourquoi un modèle affirme un fait faux

Un modèle de langage calcule, jeton après jeton, une suite plausible d'un texte. Comment fonctionne un modèle de langage décrit ce calcul. Aucune de ses étapes ne compare la phrase produite à un fait.

Un fait répété dans des milliers de textes du corpus laisse une trace forte: le modèle situe Genève au bord du Léman sans se tromper. La date de naissance d'une personne peu connue ou la référence d'un arrêt n'apparaît qu'une ou deux fois dans le corpus. Un tel fait laisse une trace faible. Le modèle produit alors une suite de la bonne forme avec un contenu faux. Kalai et ses coauteurs (OpenAI et Georgia Tech, 2025) relient le taux d'erreur sur ce type de fait à la part des faits que le corpus ne contient qu'une fois.

Les mêmes auteurs montrent que l'évaluation des modèles récompense la réponse devinée. La plupart des bancs d'essai (benchmarks) notent une réponse juste ou fausse. «Je ne sais pas» y reçoit zéro comme une erreur. Un modèle entraîné à maximiser ce score gagne à deviner. Il agit comme un candidat qui coche une case au hasard quand une réponse fausse ne coûte rien.

Sans consigne qui autorise «non établi», un modèle comble aussi le vide quand la demande porte sur une information absente du texte fourni.

L'apparence d'une réponse et sa preuve

Plausible n'est pas exact. Une réponse plausible a la forme attendue: un prix en francs, une date au bon format, un taux de réduction courant. La forme ne dit rien du contenu. L'analyste rattache chaque affirmation à une pièce qui la porte. Une pièce est un document de référence: un règlement, un contrat, une liste, un procès-verbal.

Cité n'est pas retrouvé. Un modèle produit une référence comme il produit une phrase: un titre vraisemblable, un auteur du domaine, un numéro de page. En 2023, dans l'affaire Mata v. Avianca, deux avocats ont déposé devant un tribunal fédéral de New York un mémoire qui citait six décisions inventées par ChatGPT. Le juge les a condamnés à une amende de USD 5'000. L'analyste marque «source non retrouvée» toute source qu'il ne retrouve pas et retire du résultat le fait qu'elle portait.

Confiant n'est pas certain. L'institut américain de normalisation (NIST) range cette défaillance parmi les douze risques propres à l'IA générative. Il la nomme confabulation: un contenu faux ou erroné énoncé avec assurance. Le ton d'une réponse ne renseigne pas sur sa justesse. L'analyste applique le même contrôle à une réponse assurée qu'à une réponse hésitante.

Autopsier une réponse

L'autopsie décompose une réponse avant que quiconque s'en serve. L'analyste relève les affirmations. Une affirmation est tout ce qui peut être vrai ou faux. Pour chacune, il note la source à retrouver et la transformation que le modèle a opérée: résumé, calcul ou interprétation. Il repère les inconnues que la réponse ne permet pas de trancher. Il fixe le contrôle: la méthode, la personne qui s'en charge et le seuil d'acceptation.

Le type d'affirmation décide du contrôle.

L'effort de contrôle suit l'impact d'une erreur. Un brouillon de courriel interne se relit pour sa cohérence. Un chiffre qui entre dans une offre demande ses sources, des critères d'acceptation écrits avant le contrôle et un échantillon vérifié. Une réponse qui engage l'organisation envers un client, un régulateur ou un collaborateur passe par l'expert responsable, garde la trace de ses sources et peut être refusée.

Bien formuler la demande réduit le risque. Anthropic recommande d'autoriser le modèle à dire qu'il ne sait pas, d'exiger la citation qui fonde chaque affirmation et de lui faire retirer toute affirmation sans citation. Fonder les réponses sur les documents de l'organisation relève du RAG. Un système RAG peut lui aussi produire une réponse fausse. Faire relire au modèle sa propre sortie selon des critères relève de l'autocritique. Aucune des deux ne remplace l'autopsie.

Exemple: l'assistant d'un organisme de formation

Lémanis Formation est un organisme fictif. Il donne un atelier sur les critères d'acceptation à Fribourg le 12 novembre de 13h30 à 17h00. Deux pièces le décrivent. Le règlement fixe le prix à CHF 240 par personne, une réduction de 10% dès trois inscriptions sur la même réservation, quatorze places et une annulation gratuite jusqu'au 5 novembre inclus. Passé cette date, la responsable des inscriptions décide. La liste des inscriptions compte neuf places confirmées et trois demandes en attente. Lémanis n'a mené aucune enquête de satisfaction.

Une entreprise demande à l'assistant de Lémanis le prix pour trois collaborateurs, les places libres et le délai d'annulation. L'assistant répond: «L'atelier dure quatre heures et accueille vingt personnes. Pour trois inscriptions, la réduction de 15% ramène le total à CHF 612. Avec douze places confirmées, il en reste huit. L'annulation est gratuite jusqu'au 10 novembre. Selon l'enquête Lémanis 2026, 97% des participants recommandent l'atelier. Vos collaborateurs rédigeront donc des critères d'acceptation complets dès leur retour.»

L'analyste qui audite l'assistant confronte chaque affirmation aux deux pièces dans une grille de fiabilité.

Aucune ligne ne passe. La ligne des places montre qu'un chiffre corrigé ne suffit pas. Cinq places sont libres, mais les trois demandes en attente peuvent en occuper trois. Si la responsable les accepte, il en reste deux pour trois collaborateurs. Une réponse fiable écrit ce qui est établi et ce qui ne l'est pas: «3 × CHF 240 = CHF 720. Si les trois inscriptions figurent sur la même réservation, la réduction de 10% ramène le total à CHF 648. Cinq places sont libres et trois demandes sont en attente: seule la responsable des inscriptions peut confirmer vos trois places. L'annulation est gratuite jusqu'au 5 novembre inclus. Après cette date, la responsable des inscriptions décide. Aucune donnée de satisfaction n'est disponible.»

Vérifier le résultat

L'analyste applique cette liste à toute réponse réutilisée hors de l'assistant: un courriel, une offre, un compte rendu, une exigence.

• Chaque affirmation se rattache-t-elle à une pièce ou à une source retrouvée?
• Chaque source citée a-t-elle été ouverte?
• Le passage cité figure-t-il dans la source?
• Une source introuvable a-t-elle été notée «source non retrouvée»?
• Le fait que porte une source introuvable a-t-il été exclu du résultat?
• Chaque calcul a-t-il été refait hors du modèle?
• La réponse sépare-t-elle ce qui est établi de ce qui est en attente, supposé ou absent?
• Chaque promesse de prix, de délai ou de disponibilité figure-t-elle dans une pièce? Sinon, une personne habilitée l'a-t-elle validée?
• Chaque conclusion métier repose-t-elle sur un fait vérifié?
• Le niveau de contrôle correspond-il à l'impact d'une erreur?

Techniques liées

• Analyse documentaire: la citation fluide qui ne figure pas dans le document et son contrôle contre la source.
• Entretien: les phrases qu'un outil de transcription ajoute à un enregistrement.
• Leçons apprises: la cause racine proposée par un modèle reste une hypothèse.
• SIPOC: le fournisseur ou le client inventé qui ôte au tableau sa vérifiabilité.