« un agent ne vaut pas mieux que les documents qu’il lit »
Gestion des donnéesSolutions
Des agents IA dont on mesure les erreurs
Un cas d’usage, un critère de réussite écrit, un jeu d’évaluation constitué avant le développement : c’est ce qui sépare une démonstration d’un système.
Le déclencheur
Vous êtes concerné si…
-
On vous demande de l’IA sans qu’aucun cas d’usage ni critère de réussite ne soit posé.
-
Une démonstration a convaincu tout le monde, et rien n’est jamais passé en production.
-
Vous ne savez pas où partent les documents que vos équipes déposent dans un outil d’IA.
Commencer par un cas, pas par une technologie
« Il nous faut de l’IA » n’est pas un besoin, c’est une consigne. La première séance sert à la transformer en cas : quelle tâche, faite par qui aujourd’hui, combien de fois par semaine, et à quoi on reconnaîtra que la machine l’a bien faite. Tant que cette dernière question n’a pas de réponse écrite, il n’y a pas de projet — il y a une démonstration, et une démonstration réussit toujours. Un seul cas à la fois, choisi parce qu’il est fréquent, ennuyeux et vérifiable : la recherche dans des documents internes, la préparation d’une réponse type, le tri d’une boîte de réception. Le spectaculaire vient après, s’il vient.
Ce qu’un jeu d’évaluation change dans la conversation
Un jeu d’évaluation est une liste de cas réels avec, en face de chacun, la réponse que vos référents métier attendent. Trente à cent lignes suffisent pour commencer. Il se constitue avant le développement, et il change la nature des échanges : au lieu de discuter d’impressions — « je trouve que ça répond mal » —, on regarde un pourcentage et on lit les cas ratés. Il se rejoue à chaque changement de modèle, de version ou de réglage, ce qui permet de voir si une modification a amélioré ou cassé quelque chose. Il vous appartient. Le jour où vous confiez ce système à quelqu’un d’autre, c’est lui qui dira si le successeur fait mieux.
Les garde-fous se posent au début, pas à la fin
Un garde-fou n’est pas une option de fin de projet, c’est une décision d’architecture. Trois surtout. Ce que l’agent a le droit de faire : lire seulement, ou aussi écrire, envoyer, engager une dépense — chaque droit accordé au-delà du nécessaire est une porte ouverte. Le seuil d’abstention : à partir de quel niveau de doute la machine dit qu’elle ne sait pas et passe la main, plutôt que de produire une réponse plausible et fausse. Le journal : chaque interaction consignée avec sa question, sa réponse et les documents utilisés, pour remonter à la source quand un client conteste. Ces trois choix se font avec la sécurité de ce que l’agent peut atteindre.
Ce qui fait varier le prix
Le premier facteur est l’étroitesse du cas : une seule tâche, mesurable, coûte une fraction de ce que coûte un agent qui touche à trois métiers. Le deuxième est l’état de vos documents — leur nombre, leur format, leur découpage : indexer un fonds rangé va vite, remettre en ordre vingt ans d’archives est un chantier en soi. Le troisième est l’usage : le coût mensuel dépend de la volumétrie et du modèle retenu tâche par tâche ; il se mesure sur le prototype, puis se plafonne. Le cadrage se vend séparément, pour un montant arrêté avant de commencer, et produit le critère de réussite en même temps que le chiffrage.
Périmètre
Ce qui est compris, et ce qui ne l’est pas
Ce que comprend la prestation
- Je choisis le modèle tâche par tâche et j’écris où chaque donnée est traitée, chez qui, et ce qui sort de l’Union européenne.
- Je construis les agents, les chaînes de récupération sur vos documents et l’interface par laquelle vos équipes s’en servent.
- Vous recevez un jeu d’évaluation constitué avec vos référents métier, un journal des réponses consultable et des garde-fous qui bornent la machine.
- Je raccorde le tout à vos outils et je forme vos équipes à lire le journal, relancer une évaluation et modifier un garde-fou.
Ce que ça ne comprend pas
- L’entraînement d’un modèle de fondation : je pars de modèles existants, ouverts ou propriétaires.
- La promesse d’un taux d’erreur nul. Le taux se mesure et se borne ; il ne s’annule pas.
- Le remplacement d’une décision engageante par une machine : elle prépare, un humain tranche.
Déroulé
Comment ça se passe
-
Cadrage d’un cas d’usage
Un seul cas, mesurable, avec son critère de réussite écrit avant tout. Un projet d’IA sans critère de réussite est le premier motif d’échec observé.
Ce qui vous est remis
note de cadrage portant le critère de réussite
-
Jeu d’évaluation
Vos référents métier écrivent les questions et les réponses attendues, avant qu’une ligne de code existe. C’est ce jeu qui dira si le système marche.
Ce qui vous est remis
jeu d’évaluation documenté, qui vous appartient
-
Prototype restreint
Un périmètre étroit, branché sur de vraies données, mesuré sur le jeu d’évaluation. Vous savez alors ce que vous avez, chiffres en main.
Ce qui vous est remis
résultats mesurés sur le jeu d’évaluation
-
Industrialisation
Droits, journalisation, plafond de coût, seuil d’abstention et escalade vers un humain. Ce qui manque ici est ce qui fait échouer les passages en production.
Ce qui vous est remis
architecture écrite : données, droits, coûts, journal
-
Intégration et transfert
Mise en service dans vos outils, information des utilisateurs qu’ils s’adressent à une IA, et prise en main par vos équipes.
Ce qui vous est remis
documentation d’exploitation et session de prise en main
Preuves
Ce que vous recevez, et ce qui se mesure
-
Les résultats sur le jeu d’évaluation, rejoués à chaque changement de modèle ou de configuration.
-
Le taux d’abstention : la part des cas où le système préfère ne pas répondre plutôt qu’inventer.
-
Un journal des interactions consultable, qui permet de remonter à la source d’une réponse contestée.
-
Le coût réel par requête et par mois, plafonné, et non une estimation d’avant-projet.
-
La liste écrite des données envoyées, à qui, et de ce qui reste dans l’Union européenne.
Questions
Questions fréquentes
Est-ce que nos données servent à entraîner le modèle ?
Cela dépend du fournisseur et du contrat souscrit, et la réponse ne se devine pas : elle se lit dans les conditions, puis s’écrit dans le dossier d’architecture. C’est une des premières choses tranchées au cadrage, parce qu’elle conditionne le choix du modèle et du lieu de traitement. Tant qu’elle n’est pas écrite, aucun document sensible ne part.
Où sont traitées nos données ?
C’est une question de conception, pas une fatalité : selon le modèle retenu, le traitement peut rester dans l’Union européenne ou en sortir. Le cadre de transfert vers les États-Unis reste valide depuis la décision d’adéquation du 10 juillet 2023, confirmée par le rejet du recours Latombe le 3 septembre 2025 ; il a déjà été invalidé deux fois par le passé. Je conçois donc de façon à pouvoir changer de fournisseur, et la localisation figure dans l’inventaire de vos données.
Combien ça coûte à l’usage ?
Le coût se calcule : volumétrie attendue multipliée par le coût au jeton, moins ce que le cache évite, avec un modèle différent selon la tâche. Il se plafonne aussi, techniquement, pour qu’un incident ne produise pas une facture. Le chiffre est mesuré sur le prototype avant l’industrialisation, pas promis avant.
Et si l’IA se trompe devant un client ?
Je borne le périmètre, je mesure le taux d’erreur sur le jeu d’évaluation, et je prévois un seuil d’abstention puis une escalade vers un humain. L’utilisateur sait aussi qu’il s’adresse à une machine : l’article 50 du règlement européen sur l’IA l’impose, et le gros du règlement s’applique depuis le 2 août 2026. Le RegLab de Stanford a mesuré 17 % et 33 % d’hallucinations sur deux outils vendus sans hallucination : la question n’est pas si, mais combien.
Un modèle ouvert hébergé chez nous, est-ce possible ?
Oui, et c’est un arbitrage à poser au cadrage : coût d’infrastructure, résultats attendus sur votre tâche, maîtrise de la localisation. Un modèle ouvert hébergé chez vous coûte en machines et en exploitation ce qu’il fait gagner en abonnement et en dépendance. Le comparatif se fait sur votre volumétrie, jamais en général.
Faut-il déclarer notre usage de l’IA ?
Cela dépend de votre rôle et du niveau de risque du système : le règlement européen distingue le fournisseur, qui construit, du déployeur, qui utilise. En général je suis fournisseur du système livré et vous en êtes le déployeur. Une obligation vaut en revanche pour tout le monde depuis le 2 février 2025 : la littératie IA, c’est-à-dire une formation suffisante des personnes qui s’en servent.
Et ensuite
Pour aller plus loin
Deux solutions qui vont avec
Contact
Un projet à cadrer ?
Décrivez-le en quelques lignes : la situation d’aujourd’hui, ce que vous attendez, et pour quand. Réponse sous 48 h ouvrées.