RAG, fine-tuning ou modèle local

Ce que l'IA fait bien ici, ce qu'elle fait mal

Ce qu'elle fait bien

• Répondre depuis un document récent: le RAG lit le règlement révisé après l'entraînement du modèle.
• Renvoyer à sa source: une réponse RAG peut rattacher chaque affirmation à un passage que le lecteur ouvre.
• Tenir un format répété: un modèle ajusté par fine-tuning rend la même structure et le même ton.
• Classer selon les catégories de la maison: le modèle ajusté trie les réclamations comme le service client.
• Garder les données sur place: un modèle local traite la demande sans l'envoyer à un service externe.

Ce qu'elle fait mal

• Retrouver un segment isolé: «Ce montant est plafonné à CHF 35» ne nomme plus les repas.
• Écarter une version périmée: la recherche peut rendre le règlement de 2023 au lieu de celui de 2026.
• Constater qu'aucun passage ne répond: le modèle peut répondre avec sa mémoire générale sans le signaler.
• Citer juste: une citation peut pointer vers un passage qui ne porte pas l'affirmation.
• Respecter les droits de lecture: l'index peut rendre à un collaborateur un extrait du dossier d'un collègue.
• Apprendre un fait par fine-tuning: le modèle ne cite aucune source et garde l'ancienne règle jusqu'au prochain entraînement.
• Gagner en justesse par l'exécution locale: la justesse dépend du modèle choisi.
• Sécuriser par l'exécution locale: l'injection de consignes et les accès trop larges restent possibles.

À quel besoin répond chaque option?

Le RAG sert à répondre depuis des documents à jour. Un modèle de langage connaît son corpus d'entraînement. Ce corpus s'arrête à une date. Ni les documents internes d'une organisation ni un règlement révisé le mois dernier n'y figurent. Le RAG retrouve les passages utiles au moment de la question et les place, avec elle, dans la fenêtre de contexte du modèle. Le modèle ne change pas. Lewis et ses coauteurs (Facebook AI Research, 2020) ont décrit cette architecture: leurs modèles avec recherche produisaient un texte plus précis et plus factuel qu'un modèle sans recherche.

Le fine-tuning sert à stabiliser un style ou une tâche répétée. L'équipe réunit des exemples qui associent chacun une entrée à la sortie attendue. Elle poursuit l'entraînement du modèle sur ces exemples. Les paramètres du modèle changent. Le comportement appris se maintient sans consigne. OpenAI range le fine-tuning du côté du comportement: un format instable, un ton inadapté, un raisonnement mal suivi. Il range le RAG du côté des connaissances: un fait absent du modèle, périmé ou propre à l'organisation.

Le modèle local sert à limiter l'envoi de données à un service. L'organisation télécharge un modèle dont les poids sont publiés et le fait tourner sur un poste ou un serveur à elle. La demande, les documents joints et la réponse restent dans son réseau.

Les trois se combinent. Un modèle local peut servir de générateur à un RAG. Un modèle ajusté peut recevoir des passages retrouvés. OpenAI présente RAG et fine-tuning comme deux leviers qui s'additionnent. Pour choisir entre eux sur un projet, voyez Développer, acheter ou configurer.

Le RAG retrouve avant de répondre

Avant la première question, le système découpe les documents en segments de quelques paragraphes et les range dans un index. À chaque question, il la compare aux segments par mots-clés ou par proximité de sens.

Helvetrans SA est une entreprise de transport fictive de Lausanne. Elle fournit un assistant documentaire à ses collaborateurs.

1. Question. Une collaboratrice demande: «Quels frais de repas sont remboursés lors d'un déplacement?»
2. Recherche. Le système retrouve trois segments. L'un d'eux est l'article 4.2 du règlement des frais dans sa version 2026: «Les repas pris en déplacement sont remboursés sur présentation du justificatif. Ce montant est plafonné à CHF 35.»
3. Contexte. Le système transmet au modèle la question, ces trois passages et la consigne de répondre à partir d'eux seuls en citant chaque source.
4. Réponse. Le modèle rédige: «Les repas pris en déplacement sont remboursés sur justificatif jusqu'à CHF 35 (règlement des frais, art. 4.2).»
5. Contrôle. La collaboratrice ouvre l'article 4.2. Elle vérifie que le règlement cité est la version en vigueur et que la réponse n'ajoute rien au passage.

Les étapes 2 et 3 fixent ce que le modèle peut dire. Une recherche qui rate le bon passage donne une réponse fondée sur un autre.

Essayer avec Gemini Notebook

Gemini Notebook est l'outil de Google connu sous le nom de NotebookLM. Il applique ce principe aux sources que l'utilisateur ajoute. Selon son aide en ligne, il retrouve dans ces sources les passages les plus pertinents pour la question, puis construit sa réponse à partir d'eux. Téléchargez sur Fedlex le texte public de la LPD et ajoutez-le comme source. Demandez dans quel délai un responsable du traitement répond à une demande d'accès, puis ouvrez la citation. Une fenêtre affiche le passage cité. Son lien «Afficher la source» ouvre le document. L'outil exige un compte Google. N'y chargez que des documents dont la diffusion est autorisée.

Pourquoi une réponse RAG peut rester fausse

Le RAG ajoute une étape de recherche. Cette étape peut échouer elle aussi. Anthropic a mesuré la recherche seule sur plusieurs corpus. Avec une recherche standard, le bon segment manquait parmi les vingt premiers résultats dans 5,7% des cas. En ajoutant à chaque segment une phrase qui situe son contexte, Anthropic ramène ce taux à 3,7%. Anthropic atteint 2,9% en y ajoutant une recherche par mots-clés combinée à la recherche par le sens, puis 1,9% en reclassant les résultats.

La troisième ligne relève de la sécurité. La fondation OWASP compte les faiblesses des vecteurs et des plongements (LLM08) parmi les dix risques des applications de modèles de langage. Ces représentations numériques servent à la recherche par proximité de sens. Un index mal protégé peut donner à un utilisateur des documents qui lui sont fermés. L'équipe qui construit l'index lui applique les droits de lecture de chaque document: un collaborateur ne retrouve que ce qu'il peut ouvrir.

Une citation indique d'où la réponse dit venir. Seule la lecture du passage montre si la réponse le rapporte fidèlement. Pour contrôler une réponse affirmation par affirmation, voyez Les hallucinations.

Le fine-tuning apprend un comportement

Le service client de Helvetrans reçoit chaque jour des réclamations sur des livraisons. Il réunit des réclamations traitées. Chaque exemple porte sa catégorie et la réponse validée. Après le fine-tuning, le modèle classe une nouvelle réclamation dans les catégories de la maison et rédige au format du service sans longue consigne. OpenAI désigne la préparation des exemples comme l'étape décisive: ils doivent ressembler aux demandes que le modèle recevra en service.

Le modèle ajusté a appris une manière de répondre. Il ne peut pas citer l'exemple dont il tient une réponse. Quand le délai de réclamation passe de 30 à 14 jours, les exemples fondés sur l'ancien délai continuent d'agir jusqu'au prochain entraînement. Un exemple faux s'apprend aussi bien qu'un exemple juste: l'OWASP classe l'empoisonnement des données de fine-tuning parmi ses dix risques. Un fait qui change ou qui doit être cité passe par le RAG.

Un modèle local change le lieu du calcul

Un service hébergé qui traite des données personnelles pour le compte de l'organisation est un sous-traitant au sens de l'art. 9 LPD. Un hébergement hors de Suisse soumet en plus ce traitement aux règles de communication à l'étranger (art. 16). L'hébergeur qui loue le serveur où tourne le modèle reste un sous-traitant. Un modèle qui tourne sur le matériel de l'organisation supprime ce tiers. L'organisation reste responsable de la sécurité des données personnelles qu'elle traite (art. 8).

La qualité d'un modèle local dépend du modèle choisi et du matériel qui le fait tourner. L'équipe la mesure sur des questions de l'organisation dont elle connaît la réponse. La sécurité dépend des accès au serveur, des mises à jour et de la provenance du modèle téléchargé. L'OWASP range parmi ses dix risques l'injection de consignes et la chaîne d'approvisionnement. Un modèle téléchargé compromis relève de ce second risque. En local, l'organisation porte ces deux risques: elle contrôle ce qui entre dans la demande et vérifie la provenance du modèle qu'elle télécharge. La maintenance passe du fournisseur à l'organisation: le matériel, les mises à jour et la surveillance deviennent son travail.

Recherche classique, assistant avec documents ou génération seule

Un collaborateur de Helvetrans veut savoir combien de jours de vacances le règlement du personnel lui accorde. Le règlement en accorde vingt-cinq.

La recherche classique échoue quand le collaborateur cherche «congés» et que le règlement dit «vacances». Elle ne rédige rien. Le collaborateur lit le texte même. L'assistant avec documents épargne la lecture et ajoute les risques du tableau précédent. La génération seule répond «vingt jours» sans rien savoir du règlement de Helvetrans. Cette durée est courante dans ses textes d'entraînement.

Vérifier le résultat

L'analyste applique cette liste à toute réponse d'un assistant documentaire ou d'un modèle ajusté avant de la réutiliser.

• Chaque affirmation renvoie-t-elle à un passage ouvert, qui la porte avec ses conditions?
• La recherche a-t-elle rendu le document attendu plutôt qu'un voisin?
• Le document cité est-il la version en vigueur?
• Une affirmation sans passage a-t-elle été retirée ou vérifiée dans une autre source?
• Quand aucun passage ne répond, la réponse le dit-elle?
• Le demandeur a-t-il le droit de lire chaque document cité?
• Un fait donné par un modèle ajusté a-t-il été vérifié contre une source?
• Les exemples d'entraînement du modèle ajusté reflètent-ils les règles en vigueur?
• Un modèle local a-t-il été testé sur des questions dont la réponse est connue?

Techniques liées

• Analyse documentaire: le verbatim qu'un modèle invente et le contrôle de chaque citation contre le document.
• Glossaire: les synonymes qu'une organisation emploie. Il sert à formuler une question avec les termes de ses documents.