Thème 06 · Mesurer les résultats

Comment savoir
si ça marche vraiment ?

Une démo convainc. Un système en production se trompe, change, dérive (évolution des résultats). La seule façon de garder la main, c'est de mesurer : avant la mise en route, à chaque changement, et en continu. Et une fois la mesure en place, le système peut commencer à s'améliorer, sous contrôle.

01 Vos questions

Ce que l'on me demande,
et ce que je réponds.

Les questions sont celles des dirigeants, telles qu'ils les posent. Les réponses sont directes : ce qui est vrai, ce qui dépend, et ce que je fais pour y répondre.

  1. Question 01 #

    « Comment savoir si ça marche vraiment ? »

    Avec un jeu d'évaluation (cas de test) : des cas réels, cent demandes de support, cinquante pull requests (modification à relire), trente documents, avec pour chacun la réponse attendue. On les rejoue à chaque version du système et on obtient un score, cas par cas. Pas une impression, pas l'avis de celui qui a testé trois fois.

    Sans ça, vous dépendez des retours de ceux qui râlent, et vous ne saurez jamais si la dernière modification a amélioré ou dégradé les choses.

    Ce que je fais

    Je constitue le jeu d'évaluation (cas de test) avec vos équipes, à partir de vos cas, et je le rejoue avant toute mise en route.

    Jeu d'évaluation (cas de test)Cas réelsScoreAnnotation

  2. Question 02 #

    « Ça marchait en démo. En vrai, ça se trompe une fois sur dix. C'est acceptable ? »

    Ça dépend du coût de l'erreur et de qui la rattrape. Une erreur sur dix dans une pré-qualification relue par un humain, c'est déjà utile. Une erreur sur cent dans un email envoyé au client sans relecture, ce n'est pas acceptable. Le seuil se fixe avec vous, usage par usage, et l'humain se place là où l'enjeu l'exige.

    Ce que je fais

    Un seuil par usage, le taux d'erreur mesuré, et le point de validation humaine (accord d’une personne) placé en conséquence.

    SeuilCoût de l'erreurHuman in the loop (accord d’une personne)

  3. Question 03 #

    « Un nouveau modèle sort tous les mois. Faut-il changer ? Comment le savoir ? »

    On rejoue le benchmark (test comparatif) avec le nouveau modèle. Si le score monte et que le coût suit, on change. Sinon, on garde. Un jeu d'évaluation (cas de test) existant permet de comparer un nouveau modèle ; le délai dépend aussi de son intégration et des vérifications sur les données. Si le fournisseur change, on revérifie les garanties sur les données avant de basculer.

    Ce que je fais

    Le benchmark (test comparatif) rejoué sur chaque modèle candidat, avec le score et le coût côte à côte.

    Comparaison de modèlesCoûtRéversibilité

  4. Question 04 #

    « On a changé un prompt et ça a cassé autre chose. Comment éviter ça ? »

    Comme en logiciel : avec des tests de non-régression (vérification après modification). Chaque modification, prompt (consigne au modèle), description d'outil, modèle, paramètre, est rejouée sur tout le jeu d'évaluation (cas de test) avant d'être gardée. Les échecs sont classés par cause : mauvais outil, contexte manquant, consigne ambiguë. On corrige la cause, pas le symptôme.

    Ce que je fais

    Des prompts (consigne au modèle) versionnés, un benchmark (test comparatif) lancé à chaque changement, et une analyse des échecs par catégorie.

    Non-régression (vérification après modification)VersionnageAnalyse des échecs

  5. Question 05 #

    « Peut-on faire confiance à une IA qui évalue une autre IA ? »

    Partiellement. Un modèle juge (évaluateur des réponses) bien ce qui est vérifiable : le format, la présence d'une information, le respect d'une consigne. Il juge mal ce qui est subjectif. On combine donc trois niveaux : des règles automatiques, un modèle juge calibré sur des cas annotés par vos équipes, et un échantillon relu par un humain. Le juge lui-même est évalué.

    Ce que je fais

    Un juge calibré sur vos annotations, et une mesure régulière de son accord avec vos équipes.

    LLM juge (évaluateur des réponses)CalibrationRelecture humaine

  6. Question 06 #

    « Un système qui s'améliore tout seul : réaliste ou marketing ? »

    Réaliste, dans un cadre précis. Quand le jeu d'évaluation (cas de test) existe, un agent peut analyser les échecs, proposer une correction, un prompt (consigne au modèle), une description d'outil, un exemple, un paramètre de routage, la rejouer sur le benchmark (test comparatif), et ne garder que ce qui fait monter le score sur des cas que le système n'a jamais vus. Ce dernier point est la condition : optimiser sur les mêmes cas fait monter le score sans améliorer le service.

    C'est de l'optimisation mesurée, pas de la magie. Le système ne touche ni à son périmètre ni à ses droits, chaque changement est tracé et réversible, et un humain valide ce qui part en production.

    Ce que je fais

    La boucle mesurer, analyser, corriger, vérifier, d'abord à la main, puis confiée à un agent quand la mesure est fiable.

    Auto-amélioration (corrections proposées automatiquement)Optimisation de prompts (consigne au modèle)TraçabilitéValidation humaine (accord d’une personne)

  7. Question 07 #

    « Comment prouver que ça rapporte ? »

    En mesurant avant : temps passé, volume traité, délai, taux d'erreur. Puis après, sur les mêmes indicateurs, avec le coût des modèles à côté. Un agent de veille se mesure en heures rendues, une revue de code (relecture du code) en défauts attrapés avant la production, un support en délai de première réponse.

    Ce que je fais

    Les indicateurs choisis avant de construire, mesurés avant et après, et un tableau que vous pouvez montrer.

    IndicateursAvant / aprèsCoût des modèlesTableau de bord

02 Mise en place

Ce que je mets en place

Un jeu d'évaluation (cas de test) par système, un outil qui le rejoue, de la télémétrie (suivi des événements) en production, et la boucle qui en tire des corrections.

  • 01

    Jeu d'évaluation

    Constitué à partir de vos cas réels et annoté avec vos équipes : la réponse attendue, le seuil acceptable, le coût d'une erreur. Versionné comme du code.

    Cas réelsAnnotationSeuilsVersionné

  • 02

    Tests comparatifs

    Rejoue le jeu sur chaque version du système, compare modèles, prompts (consigne au modèle) et outils, et sort un score et un coût. Lancé à chaque changement, avant toute mise en production.

    Non-régression (vérification après modification)Comparaison de modèlesScoreCoût

  • 03

    Télémétrie en production

    Des événements utiles à comprendre les échecs et à repérer les dérives. Même les métadonnées sont encadrées : finalité, information, consultation des représentants lorsqu'elle s'applique, accès et conservation. Le contenu n'est enregistré que si cela est nécessaire et proportionné.

    Langfuse (suivi des échanges)Phoenix (suivi des échanges)Traces (suivi des événements)Dérive (évolution des résultats)

  • 04

    Boucle d’amélioration mesurée

    Un agent analyse les échecs, propose des corrections, les rejoue sur le benchmark (test comparatif) et ne garde que ce qui fait progresser le score sur des cas tenus à l'écart. Un humain valide ce qui part en production.

    Analyse des échecsPropositionsRejeuValidation humaine (accord d’une personne)

Briques
Langfuse (suivi des échanges)LangSmith (suivi des échanges)Phoenix (suivi des échanges)Promptfoo (tests des réponses)DSPy (optimisation des consignes)Benchmarks (test comparatif) sur mesure

Livrable : un score par système, rejoué à chaque changement, et un tableau que la direction peut lire.

Parler de votre situation

03 Boucle

La boucle d’amélioration mesurée

Le même cycle, à la main d'abord, puis confié à un agent quand la mesure est fiable.

  1. Étape 01

    Mesurer

    Le benchmark rejoue des cas réels et note chaque réponse.

  2. Étape 02

    Analyser

    Les traces sont classées : mauvais outil, contexte manquant, consigne ambiguë.

  3. Étape 03

    Corriger

    Prompts, descriptions d'outils, skills, paramètres de routage.

  4. Étape 04

    Vérifier

    Les corrections sont testées sur des cas tenus à l’écart. Un humain valide avant la mise en production.

Chaque version est comparée à la précédente, chiffres à l'appui.

04 Vue d'ensemble

Les questions
se tiennent.

Répondre à l'une sans les autres, c'est reprendre le sujet six mois plus tard. Votre entreprise au centre, ce thème parmi les six, et ce qu'il partage avec les autres.

Fig. 01 — Votre entreprise au centre 6 thèmes

Choisissez un thème pour lire ses questions et voir les sujets qu’il partage avec les autres.

Intent fait tenir l'ensemble

Six thèmes, une seule réponse cohérente. Je traite chacun, et surtout je les fais tenir ensemble. La vue d'ensemble

05 Témoignages

Références de réalisation logicielle

Yann a su nous aider à construire les produits qui nous ont permis de fidéliser et conquérir de nouveaux clients. Des solutions concrètes et pragmatiques adaptées à des besoins complexes.
Guillaume Petrault Directeur des opérations A3 distrib / Nielsen
Yann a toujours été la ressource qui nous a aidés à convaincre des clients complexes, et à proposer des solutions vraiment pragmatiques. Même après ma reconversion professionnelle, je fais toujours appel à lui pour mes outils digitaux.
Aude Blanc-Brude Ex-CEO 2BO&CO, Thérapeute
La mise en place de notre nouvelle vitrine internet était une étape importante pour Inmind. Maxime, Jeremy et Yann ont su nous accompagner de l'idée à la mise en production de notre site, qui correspond pleinement à nos attentes.
Quentin Montardy CEO InmindVR
Yann ne se contente pas de développer, il construit des solutions qui créent de la valeur. Les outils qu'il a réalisés ont été décisifs pour notre exit, et sa vision stratégique continue d'être un pilier dans le développement de NBI. Un vrai partenaire technique sur le long terme.
Hervé Pochat CEO Amset, NBI
Yann apporte un calme précieux. Il prend le temps d'analyser les problèmes complexes pour proposer des solutions réfléchies et durables. Sa capacité à structurer le code, documenter les choix et débloquer les situations difficiles, toujours avec sérénité, en fait un partenaire de confiance.
Nathan Benchimol CEO Nomiks
Yann a été pendant très longtemps le partenaire qui nous a amené la culture du développement. Il nous a construit beaucoup de produits et de sites, et nous a permis de faire les bons choix au niveau de notre stack technique pendant de nombreuses années.
Marc Cozic Ex-RI Agir recouvrement
Travailler avec Yann, c'est assez sécurisant, les projets avancent au rythme déterminé, et on n'a pas de mauvaises surprises, ni au niveau des livrables, ni au niveau financier. Il possède aussi un grand sens de la pédagogie, ce qui rend les choses techniques accessibles et les décisions simples.
Elsa Lyon CEO Elyope & PhD Elyope

06 Contact

Parlons de votre projet.

Un système en place dont vous ne savez pas s'il marche ? Un premier échange suffit pour savoir quoi mesurer.

Le formulaire est indisponible. Écrivez-moi à contact@heyintent.com ou réservez un échange.