Agents autonomes en entreprise : ce qu'ils lisent avant d'agir se périme

Vous confiez une tâche à un agent IA et, le premier jour, vous lui écrivez vos règles : vos prix, vos délais, ce qu'il a le droit de promettre, ce que dit la réglementation de votre métier. L'agent les applique avec constance. Six mois plus tard, un tarif a changé, un texte a été révisé, une pratique que tout le monde recommandait a été abandonnée. Un collaborateur l'aurait appris en réunion ou par un collègue. L'agent, lui, relit la même page à chaque exécution et applique la règle d'hier avec la même assurance que le premier jour.

Nos propres agents travaillent ainsi, à partir de règles écrites, et cette quinzaine nous avons fini d'outiller l'entretien de ce qu'ils lisent. Cet article en décrit le fonctionnement et dit où il s'arrête aujourd'hui.

Un agent applique la dernière règle écrite, même quand elle est périmée

Un agent ne sait pas qu'une consigne a vieilli : il la relit à chaque exécution et l'applique telle quelle. Nous l'avons constaté sur nous-mêmes. Le 25 octobre, nous avons repris nos règles de référencement. La version précédente contenait des chiffres tirés de blogs d'agences, que nous tenons pour des estimations : nous les avons écartés ou reclassés. Le lendemain, la fiche de consignes de notre propre blog, celle qu'un agent lit avant chaque article, portait encore un chiffre que la base venait d'écarter. La base avait été corrigée, la consigne qui en découlait ne l'avait pas été.

L'épisode a produit une règle, ajoutée depuis à notre doctrine de référencement : à chaque révision de cette doctrine, on relit les consignes que les agents chargent à chaque cycle, et on en retire tout ce que la base a écarté. Mais une règle de plus à tenir de mémoire ne règle rien. L'objet du chantier est de faire de l'entretien un circuit, avec des contrôles écrits dans le code, plutôt qu'une bonne résolution.

Chaque domaine a sa base, et chaque fait porte sa date et sa source

Avant de produire, nos agents lisent une base de connaissances par domaine : une page de doctrine qui dit ce qui ne bouge pas, et des pages d'état de l'art qui disent ce qui bouge. Nous en tenons aujourd'hui dix-sept, du référencement à l'hébergement, de la cybersécurité au juridique, de la finance à la vente. Plusieurs ont été écrites cette quinzaine.

La doctrine tient en invariants : comment on travaille, ce qu'on refuse, comment on mesure. Les pages d'état de l'art portent une date de vérification et une date de prochaine relecture. Chaque fait y reçoit un grade. Il est « officiel » quand il vient d'une autorité ou de l'éditeur concerné, « étude » quand une mesure est publiée avec sa méthode, « expert » pour un avis ou un article de presse, « terrain » pour nos propres observations, anonymisées. Deux règles en découlent, faciles à contrôler : un avis d'expert ne fonde jamais seul une recommandation facturée, et un fait sans source ni date ne s'écrit pas.

Un fait dépassé reste dans la base : il est barré, avec sa date d'invalidation. Chaque page garde aussi une section de doutes, où figure ce que nous n'avons pas pu vérifier. Aucun agent ne réécrit cette section seul.

Le dernier maillon est l'obligation de lecture. Dans notre base de référencement, une proposition de correctif ou de devis cite la règle qui la fonde, page et section, faute de quoi elle n'est pas recevable. L'une de nos boucles internes annule son exécution quand la base n'a pas pu être chargée. L'agent qui a préparé cet article a dû lire la base de référencement avant d'écrire, et chaque choix de titre renvoie à sa règle dans le dossier relu avant publication. C'est ainsi que nous concevons des agents autonomes : l'agent prépare, la règle est écrite à un endroit où l'on peut la relire, et un humain valide ce qui engage.

Sans compteur imposé, un rédacteur automatique gonfle ses sources

Un agent à qui l'on demande une page bien sourcée rend une page qui en a l'air. Fin octobre, la première version d'une de nos bases annonçait un nombre flatteur de sources. En les comptant une par une, nous avons trouvé moins d'une adresse réelle pour quatre annoncées : les mêmes pages revenaient sous plusieurs références. Après reprise, la base reposait sur environ neuf adresses distinctes pour dix faits.

Nous en avons tiré trois exigences, à poser dès la commande passée à l'agent rédacteur : douze sources distinctes par page, des compteurs exacts, aucun fait recopié d'une page à l'autre. Une quatrième vaut pour le relecteur, qui vérifie un échantillon de sources dès son premier passage. L'exigence chiffrée joue dans les deux sens. Sur une autre base, une page est restée à dix sources, sous le minimum : quatre sources peu pertinentes avaient été retirées, et nous avons préféré un compteur sous la règle à du remplissage.

Chaque base passe ensuite devant un juge avant d'entrer en service. Un modèle relit les affirmations clés d'après leurs sources. Quand c'est possible, nous prenons ce juge dans une autre famille de modèles que le rédacteur, et nous notons les cas où il est de la même.

Ce qu'il attrape justifie l'étape. Sur la base de vente, quatre affirmations ont dû être corrigées, dont une qui faisait dire à une étude l'inverse de sa conclusion et une autre qui citait un pourcentage plus élevé que celui de l'étude. Sur la base de référencement, sur quinze affirmations clés, neuf ont été confirmées, trois corrigées et trois reformulées avec plus de prudence. Sur une troisième base, une affirmation a été renversée par la source officielle elle-même. Toutes ces phrases étaient bien écrites, et c'est ce qui les rendait dangereuses.

La veille s'applique seule quand elle est vérifiée, et attend une décision sinon

Une entrée de veille entre seule dans une base si elle passe six contrôles, et attend une décision humaine dans tous les autres cas. Chaque base a ses flux, collectés chaque mois, et une session d'agent en tire des propositions d'ajout. Jusqu'au 1er novembre, toutes attendaient un accord. Depuis, la règle posée par le fondateur tient en une phrase : ce qui est vérifié s'applique, le reste attend.

« Vérifié » a une définition écrite dans le code, en six contrôles passés dans l'ordre. L'entrée respecte une forme stricte, avec une date, un grade et une seule adresse. Cette adresse correspond à un article réellement collecté et récupéré. La date du fait est celle de l'article ou figure dans son texte. Le grade est « officiel », et lui seul. Les passages de la base cités à l'appui s'y trouvent mot pour mot. Enfin un juge d'une autre famille, qui reçoit l'article et les extraits, confirme le texte à écrire au-dessus d'un seuil de confiance.

Tout le reste attend une décision : les avis d'experts, les remplacements de texte dans une page existante (seul l'ajout d'une ligne s'applique seul), les entrées qui sortent de la forme prévue. Les cinq flux de la base de vente sont des revues et des praticiens, sans aucune autorité officielle : rien ne s'y appliquera donc automatiquement. La doctrine et la section des doutes ne changent jamais sans un humain. Et un fichier témoin posé dans le dépôt remet toute la veille en simple proposition.

Les décisions en attente arrivent sous forme de cartes dans notre tableau de bord interne. Le 8 novembre, un lot de verdicts y a été rendu : un peu plus de deux sur trois validaient des gestes proposés par la base de vente, les autres intégraient des entrées de veille. Tous ont été rangés dans la bonne page et enregistrés, sans un seul échec.

Le circuit a aussi montré ses défauts ce jour-là. Chaque verdict ajoutait 23 mots au journal des révisions de la page concernée, si bien que deux pages ont dépassé leur seuil de longueur à force d'être validées. Le journal regroupe désormais ses lignes par jour. Deux cartes demandaient par ailleurs une décision déjà prise : l'intégration avait été faite, son statut n'avait jamais été modifié. Le statut est désormais mis à jour le jour même.

Ce que nous mesurons, et ce qui ne fonctionne pas encore

Nous mesurons d'abord si la bonne page remonte quand un agent la cherche, parce qu'une base introuvable ne vaut rien. Un jeu de questions de contrôle, réparties sur les dix-sept bases, est rejoué chaque mois. Les deux premières mesures donnent 93 % puis 94 % de questions réussies, sur un jeu de questions qui s'est élargi entre les deux. Les ratés sont instructifs : deux doctrines sortent hors des trois premiers résultats, et des pages de travail moins pertinentes passent devant la page de référence.

Nous notons aussi chaque chargement d'une base par un agent, sans en enregistrer le contenu. Dans un mois, nous saurons lesquelles dorment.

Trois points restent ouverts, et nous préférons les écrire. La sonde chargée de repérer les contradictions entre bases vient d'être programmée, une fois par trimestre, et n'a donc encore rien prouvé. Le contrôle automatique de la base de référencement relève encore des erreurs et des avertissements, dont des compteurs de sources faux et des pages proches de leur plafond de longueur. Enfin, notre taux de questions réussies ne mesure que la remontée des pages. Ce chiffre ne dit rien de la qualité du travail que l'agent fait ensuite, et que nous jugeons livrable par livrable.

Pour vous, la question à poser avant de confier une tâche à un agent tient en une ligne : qui met à jour ce qu'il lit, et comment le saurez-vous le jour où ce sera faux ? Si vos règles tiennent dans un document que personne ne date, nous commencerions par là, avant de parler de modèle. C'est ce que nous regardons dès le diagnostic de notre méthode : la tâche, les règles qui la gouvernent, et la personne qui tranche quand elles changent. Et si votre activité ne change de règles qu'une fois par an, un circuit de cette taille serait disproportionné. Une relecture datée, à échéance fixe, suffirait.

Questions fréquentes

Pourquoi ne pas écrire les règles directement dans la consigne de l'agent ?

Parce qu'une consigne se recopie et vieillit sans que personne le voie. Nous gardons les règles dans une base datée, que la consigne oblige à lire, et nous relisons les consignes à chaque révision de la base.

Un agent peut-il mettre à jour seul ses propres règles ?

Chez nous, seulement dans un cas étroit : un fait de source officielle, récupéré, daté, confirmé par un juge d'une autre famille de modèles et ajouté comme une ligne nouvelle. La doctrine, les doutes et tout remplacement de texte attendent une décision humaine.

Comment savoir si une base de connaissances est encore à jour ?

Chaque page porte sa date de vérification et sa date de prochaine relecture. Une page qui a dépassé cette date reste utilisable, mais le livrable qui s'appuie dessus doit le dire.

Faut-il un juge différent du rédacteur ?

Dans notre expérience, oui. Sur trois de nos bases, le juge a fait corriger des affirmations bien écrites et fausses, dont une étude citée à l'envers. Nous prenons en règle générale pour juge un modèle d'une autre famille que celui qui a rédigé.

Ce dispositif convient-il à une petite structure ?

Le format oui, le circuit complet rarement. Une page de règles datée, avec ses sources et une échéance de relecture, se tient à la main. La veille automatique et le juge se justifient quand plusieurs agents lisent ces règles chaque jour.