Les grands groupes lancent des projets RAG (Retrieval-Augmented Generation) en interne pour exploiter leurs données contractuelles avec l'IA générative. L'ambition est claire : transformer des milliers de contrats en un assistant capable de répondre en quelques secondes à des questions stratégiques. « Quels contrats arrivent à échéance dans les six prochains mois ? », « Quel est l'impact des clauses d'indexation sur notre portefeuille ? », « Quels fournisseurs présentent un risque de dépendance économique ? »
Dans les faits, beaucoup de ces projets déçoivent. Les réponses sont parfois justes, parfois fausses, et rien ne permet de distinguer les unes des autres. La cause la plus fréquente n'est pas le modèle de langage : ce sont les données qu'on lui fournit. Doublons, formats incohérents, champs manquants, versions obsolètes : un RAG alimenté par des données achats sales produit des hallucinations, quel que soit le LLM choisi.
Cet article explique pourquoi la qualité des données décide du succès d'un RAG achats, comment des données sales se transforment en réponses erronées, et comment mesurer l'effet d'un nettoyage préalable sur la performance de votre système.
Qu'est-ce qu'un RAG et pourquoi dépend-il autant de vos données ?
Un RAG est une architecture d'IA qui combine deux phases :
- Retrieval (récupération) : le système recherche, dans une base vectorielle, les passages de documents les plus pertinents pour la question posée.
- Generation (génération augmentée) : un LLM (Large Language Model) rédige une réponse en s'appuyant sur les passages récupérés.
Exemple : un acheteur demande « Quel est le montant total de nos contrats avec le fournisseur Alpha ? ». Le système retrouve les documents qui mentionnent ce fournisseur, puis le LLM lit ces passages et formule une réponse chiffrée.
Le point essentiel est le suivant : un RAG ne vérifie pas les données, il les restitue. Le LLM ne sait pas qu'un montant est mal formaté, qu'un fournisseur apparaît sous trois noms ou qu'un avenant a remplacé le tarif initial. Il reformule ce qu'on lui donne, avec la même assurance que la réponse soit juste ou fausse. C'est ce qui rend les erreurs d'un RAG plus dangereuses que celles d'un tableur : elles sont rédigées dans un français impeccable et paraissent fiables.
Comment les données sales produisent des hallucinations
Les données sales dégradent les deux phases du RAG, chacune à sa manière.
Phase 1 : un retrieval pollué
Les doublons et variantes de noms. Le même fournisseur enregistré sous « Fournisseur Alpha », « FOURNISSEUR ALPHA SAS » et « Fourn. Alpha » crée trois entités distinctes dans la base vectorielle. Selon la formulation de la question, le système en retrouve une, deux ou trois, et la réponse change.
Les formats incohérents. Des dates au format JJ/MM/AAAA dans un document et AAAA-MM-JJ dans un autre, des montants tantôt HT, tantôt TTC sans mention explicite : le rapprochement entre passages devient aléatoire.
Les données manquantes. Un contrat sans date de fin, sans catégorie d'achat ou sans fournisseur identifié ne remonte pas quand il le devrait. La réponse est incomplète, sans que l'utilisateur le sache.
Les versions non reliées. Un contrat initial et ses trois avenants ingérés comme quatre documents indépendants : le système peut remonter le tarif d'origine alors qu'il a été modifié deux fois depuis.
Exemple illustratif : à la question « Quel est le montant total de nos contrats avec le fournisseur Alpha ? », le RAG retrouve trois fiches correspondant aux trois variantes du nom, avec des montants de 125 000 €, 130 000 € et 120 000 €. Il s'agit en réalité du même contrat, enregistré trois fois à des stades différents de la négociation. Le LLM additionne et répond 375 000 € au lieu de 125 000 €.
Phase 2 : une génération qui comble les trous
Même lorsque le retrieval trouve le bon document, des données sales dans le passage transmis au LLM faussent la réponse.
- Montant mal interprété : dans un contrat français, « 1.250 € » signifie mille deux cent cinquante euros. Un système qui lit le point comme un séparateur décimal comprend 1,25 €. L'erreur est d'un facteur mille.
- Dates contradictoires : une date de fin antérieure à la date de début, souvent issue d'une erreur de saisie, conduit le LLM à choisir l'une des deux au hasard ou à produire une réponse incohérente.
- Texte tronqué ou mal encodé : une clause coupée en plein milieu, un symbole « € » transformé en « E » par un OCR, une liste de conditions dont la moitié a disparu. Le LLM complète ce qu'il ne voit pas.
- Clause séparée de ses conditions : une pénalité dont le plafond figure trois paragraphes plus loin, dans un passage qui n'a pas été récupéré. La réponse cite la pénalité sans son plafond.
Les trois familles d'hallucinations liées aux données
1. Les hallucinations numériques
Montants mal formatés, dates incohérentes, unités ambiguës : le LLM produit des chiffres faux avec aplomb. Ce sont les plus coûteuses, car elles alimentent directement des budgets, des prévisions ou des décisions de renouvellement.
2. Les hallucinations contextuelles
Quand une information manque, le LLM a tendance à la déduire. Un contrat sans catégorie renseignée devient « un contrat cadre » parce que le texte y ressemble ; une durée absente est remplacée par une durée « habituelle ». La réponse paraît plausible, mais elle n'est écrite nulle part.
3. Les hallucinations relationnelles
Doublons et références non reliées faussent les relations entre entités. Le LLM affirme que « Fournisseur Alpha et FOURNISSEUR ALPHA SAS sont deux fournisseurs distincts », ou attribue à un contrat un avenant qui en concerne un autre. Ces erreurs sont les plus difficiles à détecter, car chaque fait isolé semble correct. Pour approfondir la question des versions successives, consultez notre article sur la gestion des avenants et de l'historique contractuel.
Ce que des données sales coûtent à un projet RAG
Des décisions prises sur de mauvaises bases
Une hallucination sur une date de renouvellement peut faire manquer une fenêtre de préavis et entraîner une reconduction tacite non souhaitée. Une erreur sur un montant fausse un budget. Une clause de pénalité mal restituée affaiblit une réclamation. Sur un portefeuille de plusieurs millions d'euros d'engagements, quelques réponses fausses suffisent à produire des décisions coûteuses.
Une perte de confiance difficile à rattraper
Un assistant qui se trompe de temps en temps, sans prévenir, n'est pas utilisé avec prudence : il est abandonné. Dès que les acheteurs constatent qu'ils doivent revérifier chaque réponse dans le PDF, l'outil perd son intérêt. Le projet est techniquement en production, mais personne ne s'en sert.
Une correction après ingestion plus lourde qu'un nettoyage préalable
Corriger les données une fois qu'elles sont dans la base vectorielle impose un cycle complet :
- Identifier les erreurs à partir des réponses fausses et remonter jusqu'aux données sources.
- Corriger les documents un par un.
- Ré-ingérer les données corrigées et régénérer les embeddings.
- Revalider le système pour vérifier que la correction n'a rien cassé ailleurs.
Ce cycle se répète à chaque nouvelle série d'erreurs, découvertes le plus souvent par les utilisateurs eux-mêmes. Un nettoyage réalisé en amont traite le problème une fois, avant que quiconque ait reçu une mauvaise réponse.
Exemple de calcul (hypothèses à adapter à votre contexte) : un projet RAG mobilise 150 000 € de développement et 50 000 € d'infrastructure. Sans nettoyage préalable, supposons qu'il faille ensuite plusieurs mois de corrections, chiffrés à 150 000 €, pendant lesquels l'outil reste peu utilisé. Le coût total dépasse alors 350 000 € avant d'obtenir un système fiable. Avec un nettoyage préalable chiffré à 50 000 €, le même projet coûte 250 000 € et produit des réponses exploitables dès le lancement. Le chiffrage réel dépend du volume de contrats et de l'état de vos données : c'est l'objet de l'audit initial.
Mesurer l'impact de la qualité sur la performance du RAG
La relation entre qualité des données et qualité des réponses se mesure. Plutôt que de juger un RAG sur quelques démonstrations, construisez un protocole de test en trois temps.
1. Constituez un jeu de questions de référence. Rassemblez des questions réellement posées par vos acheteurs (montants, échéances, clauses, fournisseurs), avec la réponse exacte vérifiée dans les contrats. C'est le principe du golden dataset.
2. Mesurez avant et après nettoyage. Faites tourner les mêmes questions sur la base brute, puis sur la base nettoyée et structurée.
3. Suivez des indicateurs simples :
- l'exactitude des réponses chiffrées (montants, dates, durées) ;
- la part des réponses qui citent la bonne source (contrat, article, page) ;
- la part des questions auxquelles le système répond « je ne sais pas » à juste titre, plutôt que d'inventer ;
- la stabilité des réponses quand la question est reformulée ;
- l'usage réel quelques semaines après le lancement, qui traduit la confiance des utilisateurs.
Ce protocole transforme une intuition (« les données sales dégradent le RAG ») en une mesure partagée entre la DSI et la direction achats. Il permet aussi de justifier l'investissement dans la qualité des données. Pour aller plus loin sur ce sujet, lisez notre article sur la data quality dans les projets IA.
Ce qu'il faut corriger avant l'ingestion
Le nettoyage des données pour un RAG porte sur quatre dimensions :
- Dédoublonnage et normalisation : un fournisseur, un contrat, une référence correspondent à une seule entité, avec une table de correspondance qui conserve les variantes d'origine.
- Structuration et formatage : métadonnées structurées (montants, dates, parties, clauses) au format JSON, texte des clauses en Markdown, découpage clause par clause.
- Complétude et validation : champs obligatoires renseignés, dates cohérentes, montants au bon format, avenants rattachés à leur contrat.
- Enrichissement : catégories d'achat, types de contrat, statut (en vigueur, expiré, résilié), liens entre documents.
La méthode détaillée, étape par étape, fait l'objet de notre article sur le nettoyage des données achats avant un RAG. Pour le format de sortie, consultez aussi la structuration de données contrats pour l'IA générative.
Pourquoi préparer les données d'un RAG à la main
Il est tentant d'utiliser un LLM pour extraire et nettoyer les données qui alimenteront ensuite un autre LLM. C'est empiler deux sources d'erreurs : une hallucination commise à l'extraction devient un « fait » dans la base, que le RAG restituera avec la même assurance que le reste. Les limites de l'IA dans le nettoyage des données se retrouvent alors, amplifiées, dans les réponses de votre assistant.
Chez DATASSET, l'extraction et le nettoyage sont réalisés à 100 % à la main par des experts achats. Aucun modèle de langage n'interprète vos clauses : ce qui est extrait est ce qui est écrit. Chaque valeur est rattachée à sa source (document, article, page), ce qui permet à votre RAG de citer ses sources et à vos équipes de vérifier une réponse en quelques secondes. Le rapprochement des doublons suit la même logique, décrite dans notre article sur le dédoublonnage manuel des données.
Notre démarche suit quatre étapes :
- Audit de votre portefeuille contractuel pour mesurer les doublons, les formats incohérents et les données manquantes, dans le cadre d'un audit découverte.
- Nettoyage et normalisation selon les principes du Master Data Management, avec notre service de nettoyage de données.
- Structuration dans le format attendu par votre équipe data (JSON, CSV, Excel, texte Markdown).
- Contrôle qualité avant livraison, avec la documentation du schéma et la table de correspondance.
Le délai dépend du volume et de l'état des documents ; il est fixé à l'issue de l'audit. Vos contrats sont traités dans un environnement sécurisé, décrit sur notre page sécurité.
Conclusion : clean d'abord, RAG ensuite
Un RAG ne vaut que ce que valent les données qu'on lui confie. Les hallucinations que constatent vos utilisateurs sont, le plus souvent, le reflet fidèle de doublons, de formats incohérents et de données manquantes dans vos sources. Nettoyer en amont coûte moins cher que corriger en aval, et c'est la seule façon de lancer un assistant auquel vos acheteurs feront confiance dès le premier jour.
Vous préparez un projet RAG sur vos données achats ? Contactez-nous pour faire auditer vos données avant l'ingestion.