Thème 06 · Mesurer les résultats
Comment savoir
si ça marche vraiment ?
Une démo convainc. Un système en production se trompe, change, dérive (évolution des résultats). La seule façon de garder la main, c'est de mesurer : avant la mise en route, à chaque changement, et en continu. Et une fois la mesure en place, le système peut commencer à s'améliorer, sous contrôle.
01 Vos questions
Ce que l'on me demande,
et ce que je réponds.
Les questions sont celles des dirigeants, telles qu'ils les posent. Les réponses sont directes : ce qui est vrai, ce qui dépend, et ce que je fais pour y répondre.
-
Question 01 #
« Comment savoir si ça marche vraiment ? »
Avec un jeu d'évaluation (cas de test) : des cas réels, cent demandes de support, cinquante pull requests (modification à relire), trente documents, avec pour chacun la réponse attendue. On les rejoue à chaque version du système et on obtient un score, cas par cas. Pas une impression, pas l'avis de celui qui a testé trois fois.
Sans ça, vous dépendez des retours de ceux qui râlent, et vous ne saurez jamais si la dernière modification a amélioré ou dégradé les choses.
Ce que je fais
Je constitue le jeu d'évaluation (cas de test) avec vos équipes, à partir de vos cas, et je le rejoue avant toute mise en route.
-
Question 02 #
« Ça marchait en démo. En vrai, ça se trompe une fois sur dix. C'est acceptable ? »
Ça dépend du coût de l'erreur et de qui la rattrape. Une erreur sur dix dans une pré-qualification relue par un humain, c'est déjà utile. Une erreur sur cent dans un email envoyé au client sans relecture, ce n'est pas acceptable. Le seuil se fixe avec vous, usage par usage, et l'humain se place là où l'enjeu l'exige.
Ce que je fais
Un seuil par usage, le taux d'erreur mesuré, et le point de validation humaine (accord d’une personne) placé en conséquence.
-
Question 03 #
« Un nouveau modèle sort tous les mois. Faut-il changer ? Comment le savoir ? »
On rejoue le benchmark (test comparatif) avec le nouveau modèle. Si le score monte et que le coût suit, on change. Sinon, on garde. Un jeu d'évaluation (cas de test) existant permet de comparer un nouveau modèle ; le délai dépend aussi de son intégration et des vérifications sur les données. Si le fournisseur change, on revérifie les garanties sur les données avant de basculer.
Ce que je fais
Le benchmark (test comparatif) rejoué sur chaque modèle candidat, avec le score et le coût côte à côte.
-
Question 04 #
« On a changé un prompt et ça a cassé autre chose. Comment éviter ça ? »
Comme en logiciel : avec des tests de non-régression (vérification après modification). Chaque modification, prompt (consigne au modèle), description d'outil, modèle, paramètre, est rejouée sur tout le jeu d'évaluation (cas de test) avant d'être gardée. Les échecs sont classés par cause : mauvais outil, contexte manquant, consigne ambiguë. On corrige la cause, pas le symptôme.
-
Question 05 #
« Peut-on faire confiance à une IA qui évalue une autre IA ? »
Partiellement. Un modèle juge (évaluateur des réponses) bien ce qui est vérifiable : le format, la présence d'une information, le respect d'une consigne. Il juge mal ce qui est subjectif. On combine donc trois niveaux : des règles automatiques, un modèle juge calibré sur des cas annotés par vos équipes, et un échantillon relu par un humain. Le juge lui-même est évalué.
Ce que je fais
Un juge calibré sur vos annotations, et une mesure régulière de son accord avec vos équipes.
-
Question 06 #
« Un système qui s'améliore tout seul : réaliste ou marketing ? »
Réaliste, dans un cadre précis. Quand le jeu d'évaluation (cas de test) existe, un agent peut analyser les échecs, proposer une correction, un prompt (consigne au modèle), une description d'outil, un exemple, un paramètre de routage, la rejouer sur le benchmark (test comparatif), et ne garder que ce qui fait monter le score sur des cas que le système n'a jamais vus. Ce dernier point est la condition : optimiser sur les mêmes cas fait monter le score sans améliorer le service.
C'est de l'optimisation mesurée, pas de la magie. Le système ne touche ni à son périmètre ni à ses droits, chaque changement est tracé et réversible, et un humain valide ce qui part en production.
Ce que je fais
La boucle mesurer, analyser, corriger, vérifier, d'abord à la main, puis confiée à un agent quand la mesure est fiable.
-
Question 07 #
« Comment prouver que ça rapporte ? »
En mesurant avant : temps passé, volume traité, délai, taux d'erreur. Puis après, sur les mêmes indicateurs, avec le coût des modèles à côté. Un agent de veille se mesure en heures rendues, une revue de code (relecture du code) en défauts attrapés avant la production, un support en délai de première réponse.
Ce que je fais
Les indicateurs choisis avant de construire, mesurés avant et après, et un tableau que vous pouvez montrer.
02 Mise en place
Ce que je mets en place
Un jeu d'évaluation (cas de test) par système, un outil qui le rejoue, de la télémétrie (suivi des événements) en production, et la boucle qui en tire des corrections.
-
01
Jeu d'évaluation
Constitué à partir de vos cas réels et annoté avec vos équipes : la réponse attendue, le seuil acceptable, le coût d'une erreur. Versionné comme du code.
-
02
Tests comparatifs
Rejoue le jeu sur chaque version du système, compare modèles, prompts (consigne au modèle) et outils, et sort un score et un coût. Lancé à chaque changement, avant toute mise en production.
-
03
Télémétrie en production
Des événements utiles à comprendre les échecs et à repérer les dérives. Même les métadonnées sont encadrées : finalité, information, consultation des représentants lorsqu'elle s'applique, accès et conservation. Le contenu n'est enregistré que si cela est nécessaire et proportionné.
-
04
Boucle d’amélioration mesurée
Un agent analyse les échecs, propose des corrections, les rejoue sur le benchmark (test comparatif) et ne garde que ce qui fait progresser le score sur des cas tenus à l'écart. Un humain valide ce qui part en production.
- Briques
Livrable : un score par système, rejoué à chaque changement, et un tableau que la direction peut lire.
Parler de votre situation03 Boucle
La boucle d’amélioration mesurée
Le même cycle, à la main d'abord, puis confié à un agent quand la mesure est fiable.
-
Étape 01
Mesurer
Le benchmark rejoue des cas réels et note chaque réponse.
-
Étape 02
Analyser
Les traces sont classées : mauvais outil, contexte manquant, consigne ambiguë.
-
Étape 03
Corriger
Prompts, descriptions d'outils, skills, paramètres de routage.
-
Étape 04
Vérifier
Les corrections sont testées sur des cas tenus à l’écart. Un humain valide avant la mise en production.
Chaque version est comparée à la précédente, chiffres à l'appui.
04 Vue d'ensemble
Les questions
se tiennent.
Répondre à l'une sans les autres, c'est reprendre le sujet six mois plus tard. Votre entreprise au centre, ce thème parmi les six, et ce qu'il partage avec les autres.
- 01 Conformité & données
« Nos équipes mettent des données clients dans ChatGPT. On a le droit ? »
- 02 Sécurité
« Un agent qui a accès à nos emails et à nos fichiers, ce n'est pas dangereux ? »
- 03 L’IA au quotidien
- 04 Agents autonomes
- 05 Modèles locaux
« Certaines données ne doivent pas sortir. Donc on ne fait rien. »
- 06 Mesurer les résultats de l’IA
Ce que les thèmes partagent
- Conformité & données et Sécurité : données autorisées, accès limités
- Conformité & données et Modèles locaux : fournisseurs, hébergement
- Sécurité et Agents autonomes : droits, validation humaine
- Sécurité et L’IA au quotidien : connecteurs, extensions
- L’IA au quotidien et Agents autonomes : outils, contexte métier
- Agents autonomes et Mesurer les résultats de l’IA : taux d’erreur, test comparatif
- Modèles locaux et Mesurer les résultats de l’IA : cloud ou local, mesuré
- L’IA au quotidien et Mesurer les résultats de l’IA : temps rendu, adoption
Choisissez un thème pour lire ses questions et voir les sujets qu’il partage avec les autres.
Thème
Voir le thèmeSix thèmes, une seule réponse cohérente. Je traite chacun, et surtout je les fais tenir ensemble. La vue d'ensemble
05 Témoignages
Références de réalisation logicielle
Yann a su nous aider à construire les produits qui nous ont permis de fidéliser et conquérir de nouveaux clients. Des solutions concrètes et pragmatiques adaptées à des besoins complexes.
Yann a toujours été la ressource qui nous a aidés à convaincre des clients complexes, et à proposer des solutions vraiment pragmatiques. Même après ma reconversion professionnelle, je fais toujours appel à lui pour mes outils digitaux.
La mise en place de notre nouvelle vitrine internet était une étape importante pour Inmind. Maxime, Jeremy et Yann ont su nous accompagner de l'idée à la mise en production de notre site, qui correspond pleinement à nos attentes.
Yann ne se contente pas de développer, il construit des solutions qui créent de la valeur. Les outils qu'il a réalisés ont été décisifs pour notre exit, et sa vision stratégique continue d'être un pilier dans le développement de NBI. Un vrai partenaire technique sur le long terme.
Yann apporte un calme précieux. Il prend le temps d'analyser les problèmes complexes pour proposer des solutions réfléchies et durables. Sa capacité à structurer le code, documenter les choix et débloquer les situations difficiles, toujours avec sérénité, en fait un partenaire de confiance.
Yann a été pendant très longtemps le partenaire qui nous a amené la culture du développement. Il nous a construit beaucoup de produits et de sites, et nous a permis de faire les bons choix au niveau de notre stack technique pendant de nombreuses années.
Travailler avec Yann, c'est assez sécurisant, les projets avancent au rythme déterminé, et on n'a pas de mauvaises surprises, ni au niveau des livrables, ni au niveau financier. Il possède aussi un grand sens de la pédagogie, ce qui rend les choses techniques accessibles et les décisions simples.
06 Contact
Parlons de votre projet.
Un système en place dont vous ne savez pas s'il marche ? Un premier échange suffit pour savoir quoi mesurer.