RAG fiscal : le modèle cherche, le vérificateur refuse les références inventées

Un dossier fiscal commence par une recherche, et cette recherche se paie avant la première ligne de conseil. Le cabinet qui vous conseille ouvre ses bases documentaires, dont plusieurs proposent désormais un assistant d'intelligence artificielle, puis il relit tout ce que l'assistant lui rend, parce qu'une référence inventée dans une note engage sa responsabilité et la vôtre. Si vous dirigez une entreprise ou une direction financière, vous payez ces heures de relecture sans les voir, et vous recevez une note dont vous ne pouvez pas vérifier les sources vous-même.

Cette quinzaine, nous avons achevé la première version d'un moteur de recherche fiscale et envoyé sa première démonstration à un cabinet d'avocats fiscalistes qui nous sert de pilote. Il cherche uniquement dans des sources publiques, et aucune référence n'entre dans la note sans avoir été vérifiée par du code contre sa source officielle. Le chantier a produit un outil, une mesure sur des décisions publiées et une métrique sous le seuil que nous publions quand même.

Moins de résultats, tous vérifiés

Le cabinet a demandé moins de résultats, tous vérifiés, avec le lien officiel et l'extrait exact, et cette demande a dessiné toute l'architecture. Deux voies étaient possibles. La première consistait à orchestrer les bases payantes que le cabinet utilise déjà. La seconde consistait à indexer nous-mêmes le droit fiscal public et à placer un vérificateur entre la recherche et la note. Nous avons retenu la seconde, parce qu'un vérificateur ne peut travailler que sur des sources que l'on contrôle de bout en bout.

L'index couvre la doctrine administrative, le droit de l'Union avec la directive TVA et son règlement d'exécution placés au premier rang, la jurisprudence de la Cour de justice, les réponses ministérielles, les décisions fiscales récentes du Conseil d'État et des cours administratives d'appel, et celles de la chambre commerciale de la Cour de cassation en matière fiscale. Le texte de loi lui-même est demandé à Légifrance au moment de la recherche, pour confirmer l'article en vigueur à la date des faits. L'ensemble tient dans moins d'un gigaoctet, sur notre propre machine.

La chaîne suit l'ordre d'une base de connaissance interrogeable classique jusqu'à un point précis. La question du dossier est reformulée en requêtes, et une requête vers la jurisprudence européenne est garantie dès qu'une question porte sur la TVA. Un reclassement attribue ensuite à chaque passage trouvé une note de pertinence. Seuls les passages au-dessus d'un seuil passent à l'étape suivante, où le modèle n'a plus la main sur ce qui sera retenu.

Le vérificateur est du code, pas un modèle. Pour chaque référence proposée, il résout le lien officiel, retrouve l'extrait dans le texte source et le recale en début et en fin de phrase, puis il plafonne le nombre de références retenues par question. Une référence dont l'extrait ne se retrouve pas dans la source est écartée, jamais reformulée. Le modèle propose, le code décide de ce qui entre dans la note.

La note arrive le lendemain matin, parce que le traitement tourne en lot la nuit, et elle suit l'ordre que le cabinet a fixé : directive, loi, doctrine administrative, jurisprudence, puis points d'attention. Le résumé de chaque décision est produit à partir du passage trouvé, de son contexte et du dispositif de la décision, et il est coupé après sa dernière phrase entière plutôt qu'au milieu d'un mot.

Ce que la mesure a dit, seuil par seuil

Sur un jeu de 60 décisions publiées en 2025, la décision cible ressort dans les vingt premiers résultats dans 78 % des cas, et aucune des 35 références fictives glissées dans le test n'a franchi le vérificateur. Le premier chiffre dépasse le seuil de 70 % fixé pour cette métrique, et il monte à 92 % hors refus d'admission du Conseil d'État.

La méthode compte autant que le résultat. Nous partons d'une décision publiée, nous en masquons les faits, nous reconstituons la question telle qu'un dossier l'aurait posée à l'ouverture, puis nous regardons si le moteur retrouve la décision et les articles qu'elle cite. Le juge est du code qui compare à la décision réelle, pas un modèle qui note sa propre copie. Un score ne vaut que par son juge et par son terrain.

La seconde métrique est sous le seuil. Les articles de loi cités par la décision ne sont retrouvés que dans 36 % des cas, pour un seuil de 80 %. Deux causes sont identifiées. La recherche de Légifrance exige que tous les mots figurent dans un même champ, ce qui fait manquer des articles pourtant visés. Et un tiers des articles cités relèvent de la procédure contentieuse, que la question d'un dossier ne vise pas directement. La prochaine étape est connue : chercher Légifrance par articles candidats plutôt que par mots, puis relancer la mesure.

Sur les deux cas inventés de la démonstration envoyée au cabinet, le vérificateur a retenu 42 % puis 67 % des références qu'il a examinées. Le reste a été écarté avant la note. Un outil qui vous rend moins de résultats que la base que vous payez déjà peut déranger, et c'est pourtant ce que le cabinet avait demandé.

Un dernier chiffre nous a servi de leçon. Le coût estimé par la grille tarifaire valait quarante fois le montant lu au compteur, sans explication à ce stade. Nous n'avons pas tranché entre les deux : le coût réel de chaque appel est désormais journalisé, et c'est lui qui fera foi. Le code a aussi été relu par un second modèle, d'un autre éditeur que celui qui l'avait écrit. Il a relevé quatorze constats, tous corrigés, et le dépôt a reçu six séries de correctifs de sécurité.

Où vont les données : la ligne passe par les faits du dossier

La jurisprudence est publique, les faits de votre dossier ne le sont pas, et c'est sur eux que porte toute la question de la souveraineté. Un corpus de décisions et de doctrine administrative ne contient aucun secret, et son index vit sur notre machine. Ce qui est sensible, c'est la question que le cabinet pose : un montage, des montants, une société, une date de contrôle.

Trois règles encadrent ces faits. Ils sont masqués par défaut, par une pseudonymisation déterministe appliquée avant tout appel à un modèle. La note finale ne contient aucun jeton de pseudonymisation, ni entre crochets ni ailleurs, parce qu'un marqueur oublié vaut une fuite. Et la démonstration tourne sur des cas inventés plutôt que sur des dossiers anonymisés, sur notre propre serveur, afin que rien de réel ne transite tant que le cadre n'est pas écrit.

Le modèle de langage, lui, est appelé par une interface de programmation. Pour la démonstration, l'appel passe par un intermédiaire, et nous avons acté une règle simple : aucun dossier réel, même anonymisé, tant que la clause de non-conservation de cet intermédiaire n'est pas validée par contrat ou remplacée par un accès direct sans rétention. La production prévue pour les dossiers réels tournera chez un hébergeur français, à Paris. Le modèle y restera appelé à distance, sous pseudonymisation, et il reste un composant séparé de l'index et du vérificateur.

La confidentialité reste une décision du cabinet. Il a reçu un document de quatre pages qui présente trois options, avec notre recommandation et deux questions qui l'engagent. Tant que le cabinet n'a pas tranché, rien de réel n'est traité. Sur ce qui engage, l'outil propose et un humain tranche. Vous trouverez notre cadre général de sécurité et d'hébergement sur la page dédiée.

Ce que cela change pour un cabinet, et ce que cela ne change pas

L'outil prépare la recherche, il ne rédige pas le conseil, et nous ne dirons pas combien d'heures il rend tant que nous ne l'avons pas mesuré sur des dossiers réels. Le cabinet estime à une dizaine d'heures la recherche à l'ouverture d'un dossier. Ce chiffre est le sien, et le gain se lira sur ses dossiers réels, une fois mesuré.

Ce qui fait la valeur de l'outil tient aux critères du cabinet plus qu'au modèle. L'ordre de la note, les matières couvertes et la préférence pour une référence vérifiée plutôt que dix plausibles : tout cela vient de lui, et nous l'avons mis dans le code. Les matières qu'il a signalées comme manquantes sont pour partie prévues à la phase suivante.

La suite est écrite et pas encore faite : la lecture des pièces jointes en PDF, une veille par alertes sur les matières du cabinet, puis une mémoire de ses propres dossiers, qui posera à nouveau la question de la confidentialité. Chacune de ces étapes sera mesurée avant d'être annoncée.

Si vous dirigez un cabinet, une direction financière ou un fonds, et que vos équipes relisent chaque référence que leur rend un assistant, c'est par là que nous commencerions : un corpus que vous possédez ou qui est public, un vérificateur en code et une mesure avec son seuil. Nous appliquons cette méthode pour des acteurs de la finance et de l'advisory, et notre méthode commence par un diagnostic gratuit de trente minutes, où l'on regarde votre corpus et où l'on vous dit si votre cas le justifie.

Questions fréquentes

Qu'est-ce qu'un RAG appliqué au droit fiscal ?

C'est une base de connaissance interrogeable en langage naturel, construite sur les textes, la doctrine administrative et la jurisprudence, qui rend une réponse accompagnée de ses sources exactes. Le modèle de langage reformule la question et résume les passages trouvés, mais la réponse renvoie toujours à un texte officiel que vous pouvez ouvrir.

Comment empêcher une IA d'inventer une référence juridique ?

En ne laissant pas le modèle décider de ce qui entre dans la note. Dans notre chantier, un vérificateur écrit en code résout le lien officiel de chaque référence et retrouve l'extrait dans la source. Ce qui ne se retrouve pas est écarté. Sur 35 références fictives glissées dans le test, aucune n'est passée.

Pourquoi indexer l'open data plutôt que brancher les bases payantes ?

Parce qu'un vérificateur ne peut travailler que sur des sources qu'il contrôle de bout en bout, avec un lien officiel et un texte stable. Le droit fiscal public est disponible en données ouvertes, l'index tient dans moins d'un gigaoctet, et l'outil n'orchestre pas les bases payantes du cabinet.

Les faits du dossier quittent-ils le cabinet ?

Pas en clair. Les faits sont pseudonymisés avant tout appel à un modèle, la note finale ne porte aucun marqueur de pseudonymisation, et aucun dossier réel n'est traité tant que la clause de non-conservation de l'intermédiaire n'est pas validée par écrit ou remplacée par un accès direct sans rétention. La démonstration tourne sur des cas inventés, sur notre propre serveur.

Comment mesure-t-on la qualité d'une recherche juridique assistée ?

En partant de décisions publiées dont on masque les faits, en reconstituant la question d'origine, puis en comparant ce que le moteur retrouve à la décision réelle et aux articles qu'elle cite. Chaque métrique a son seuil. Dans notre cas, le rappel de la décision dépasse le sien et le rappel des articles n'atteint pas encore le sien.

Peut-on l'appliquer à un autre domaine que la fiscalité ?

Oui, à condition de refaire le travail de corpus et de critères avec un praticien du domaine. Le principe reste le même, une recherche puis un vérificateur en code, mais l'ordre de la note, les sources de référence et les seuils de mesure sont ceux de l'expert.