# Comment savoir si ça marche vraiment ?

> Une démo convainc. Un système en production se trompe, change, [dérive](https://www.heyintent.com/jargon#derive) (évolution des résultats). La seule façon de garder la main, c'est de mesurer : avant la mise en route, à chaque changement, et en continu. Et une fois la mesure en place, le système peut commencer à s'améliorer, sous contrôle.

Intent, page « Thème 06 · Mesurer les résultats de l’IA » : https://www.heyintent.com/evaluation

[Réserver un échange](https://calendar.app.google/wnM7uS8CjYFGzqnv9) · [LinkedIn](https://www.linkedin.com/in/yann-jezequel-67a53b7/)

## Vos questions

### « Comment savoir si ça marche vraiment ? »

Avec un [jeu d'évaluation](https://www.heyintent.com/jargon#jeu-d-evaluation) (cas de test) : des cas réels, cent demandes de support, cinquante [pull requests](https://www.heyintent.com/jargon#pull-request) (modification à relire), trente documents, avec pour chacun la réponse attendue. On les rejoue à chaque version du système et on obtient un score, cas par cas. Pas une impression, pas l'avis de celui qui a testé trois fois.

Sans ça, vous dépendez des retours de ceux qui râlent, et vous ne saurez jamais si la dernière modification a amélioré ou dégradé les choses.

**Ce que je fais :** Je constitue le [jeu d'évaluation](https://www.heyintent.com/jargon#jeu-d-evaluation) (cas de test) avec vos équipes, à partir de vos cas, et je le rejoue avant toute mise en route.

Mots-clés : [Jeu d'évaluation](https://www.heyintent.com/jargon#jeu-d-evaluation) (cas de test), Cas réels, Score, Annotation

### « Ça marchait en démo. En vrai, ça se trompe une fois sur dix. C'est acceptable ? »

Ça dépend du coût de l'erreur et de qui la rattrape. Une erreur sur dix dans une pré-qualification relue par un humain, c'est déjà utile. Une erreur sur cent dans un email envoyé au client sans relecture, ce n'est pas acceptable. Le seuil se fixe avec vous, usage par usage, et l'humain se place là où l'enjeu l'exige.

**Ce que je fais :** Un seuil par usage, le taux d'erreur mesuré, et le point de [validation humaine](https://www.heyintent.com/jargon#validation-humaine) (accord d’une personne) placé en conséquence.

Mots-clés : Seuil, Coût de l'erreur, [Human in the loop](https://www.heyintent.com/jargon#validation-humaine) (accord d’une personne)

### « Un nouveau modèle sort tous les mois. Faut-il changer ? Comment le savoir ? »

On rejoue le [benchmark](https://www.heyintent.com/jargon#benchmark) (test comparatif) avec le nouveau modèle. Si le score monte et que le coût suit, on change. Sinon, on garde. Un [jeu d'évaluation](https://www.heyintent.com/jargon#jeu-d-evaluation) (cas de test) existant permet de comparer un nouveau modèle ; le délai dépend aussi de son intégration et des vérifications sur les données. Si le fournisseur change, on revérifie les garanties sur les données avant de basculer.

**Ce que je fais :** Le [benchmark](https://www.heyintent.com/jargon#benchmark) (test comparatif) rejoué sur chaque modèle candidat, avec le score et le coût côte à côte.

À lire aussi : [« Le commercial nous a dit que nos données n'étaient pas conservées. C'est écrit où ? »](https://www.heyintent.com/conformite#donnees-non-conservees)

Mots-clés : Comparaison de modèles, Coût, Réversibilité

### « On a changé un prompt et ça a cassé autre chose. Comment éviter ça ? »

Comme en logiciel : avec des tests de [non-régression](https://www.heyintent.com/jargon#non-regression) (vérification après modification). Chaque modification, [prompt](https://www.heyintent.com/jargon#prompt) (consigne au modèle), description d'outil, modèle, paramètre, est rejouée sur tout le [jeu d'évaluation](https://www.heyintent.com/jargon#jeu-d-evaluation) (cas de test) avant d'être gardée. Les échecs sont classés par cause : mauvais outil, contexte manquant, consigne ambiguë. On corrige la cause, pas le symptôme.

**Ce que je fais :** Des [prompts](https://www.heyintent.com/jargon#prompt) (consigne au modèle) versionnés, un [benchmark](https://www.heyintent.com/jargon#benchmark) (test comparatif) lancé à chaque changement, et une analyse des échecs par catégorie.

Mots-clés : [Non-régression](https://www.heyintent.com/jargon#non-regression) (vérification après modification), Versionnage, Analyse des échecs

### « Peut-on faire confiance à une IA qui évalue une autre IA ? »

Partiellement. Un [modèle juge](https://www.heyintent.com/jargon#ia-juge) (évaluateur des réponses) bien ce qui est vérifiable : le format, la présence d'une information, le respect d'une consigne. Il juge mal ce qui est subjectif. On combine donc trois niveaux : des règles automatiques, un modèle juge calibré sur des cas annotés par vos équipes, et un échantillon relu par un humain. Le juge lui-même est évalué.

**Ce que je fais :** Un juge calibré sur vos annotations, et une mesure régulière de son accord avec vos équipes.

Mots-clés : [LLM juge](https://www.heyintent.com/jargon#ia-juge) (évaluateur des réponses), Calibration, Relecture humaine

### « Un système qui s'améliore tout seul : réaliste ou marketing ? »

Réaliste, dans un cadre précis. Quand le [jeu d'évaluation](https://www.heyintent.com/jargon#jeu-d-evaluation) (cas de test) existe, un agent peut analyser les échecs, proposer une correction, un [prompt](https://www.heyintent.com/jargon#prompt) (consigne au modèle), une description d'outil, un exemple, un paramètre de routage, la rejouer sur le [benchmark](https://www.heyintent.com/jargon#benchmark) (test comparatif), et ne garder que ce qui fait monter le score sur des cas que le système n'a jamais vus. Ce dernier point est la condition : optimiser sur les mêmes cas fait monter le score sans améliorer le service.

C'est de l'optimisation mesurée, pas de la magie. Le système ne touche ni à son périmètre ni à ses droits, chaque changement est tracé et réversible, et un humain valide ce qui part en production.

**Ce que je fais :** La boucle mesurer, analyser, corriger, vérifier, d'abord à la main, puis confiée à un agent quand la mesure est fiable.

Mots-clés : [Auto-amélioration](https://www.heyintent.com/jargon#auto-amelioration) (corrections proposées automatiquement), Optimisation de [prompts](https://www.heyintent.com/jargon#prompt) (consigne au modèle), Traçabilité, [Validation humaine](https://www.heyintent.com/jargon#validation-humaine) (accord d’une personne)

### « Comment prouver que ça rapporte ? »

En mesurant avant : temps passé, volume traité, délai, taux d'erreur. Puis après, sur les mêmes indicateurs, avec le coût des modèles à côté. Un agent de veille se mesure en heures rendues, une [revue de code](https://www.heyintent.com/jargon#revue-de-code) (relecture du code) en défauts attrapés avant la production, un support en délai de première réponse.

**Ce que je fais :** Les indicateurs choisis avant de construire, mesurés avant et après, et un tableau que vous pouvez montrer.

À lire aussi : [« Combien ça coûte à faire tourner ? »](https://www.heyintent.com/agents#cout-de-fonctionnement)

Mots-clés : Indicateurs, Avant / après, Coût des modèles, Tableau de bord

## Ce que je mets en place

Un [jeu d'évaluation](https://www.heyintent.com/jargon#jeu-d-evaluation) (cas de test) par système, un outil qui le rejoue, de la [télémétrie](https://www.heyintent.com/jargon#telemetrie) (suivi des événements) en production, et la boucle qui en tire des corrections.

### Jeu d'évaluation

Constitué à partir de vos cas réels et annoté avec vos équipes : la réponse attendue, le seuil acceptable, le coût d'une erreur. Versionné comme du code.

Mots-clés : Cas réels, Annotation, Seuils, Versionné

### Tests comparatifs

Rejoue le jeu sur chaque version du système, compare modèles, [prompts](https://www.heyintent.com/jargon#prompt) (consigne au modèle) et outils, et sort un score et un coût. Lancé à chaque changement, avant toute mise en production.

Mots-clés : [Non-régression](https://www.heyintent.com/jargon#non-regression) (vérification après modification), Comparaison de modèles, Score, Coût

### Télémétrie en production

Des événements utiles à comprendre les échecs et à repérer les dérives. Même les métadonnées sont encadrées : finalité, information, consultation des représentants lorsqu'elle s'applique, accès et conservation. Le contenu n'est enregistré que si cela est nécessaire et proportionné.

Mots-clés : Langfuse (suivi des échanges), Phoenix (suivi des échanges), [Traces](https://www.heyintent.com/jargon#telemetrie) (suivi des événements), [Dérive](https://www.heyintent.com/jargon#derive) (évolution des résultats)

### Boucle d’amélioration mesurée

Un agent analyse les échecs, propose des corrections, les rejoue sur le [benchmark](https://www.heyintent.com/jargon#benchmark) (test comparatif) et ne garde que ce qui fait progresser le score sur des cas tenus à l'écart. Un humain valide ce qui part en production.

Mots-clés : Analyse des échecs, Propositions, Rejeu, [Validation humaine](https://www.heyintent.com/jargon#validation-humaine) (accord d’une personne)

Briques : Langfuse (suivi des échanges), LangSmith (suivi des échanges), Phoenix (suivi des échanges), Promptfoo (tests des réponses), DSPy (optimisation des consignes), [Benchmarks](https://www.heyintent.com/jargon#benchmark) (test comparatif) sur mesure

Livrable : un score par système, rejoué à chaque changement, et un tableau que la direction peut lire.

## La boucle d’amélioration mesurée

Le même cycle, à la main d'abord, puis confié à un agent quand la mesure est fiable.

1. **Mesurer** — Le benchmark rejoue des cas réels et note chaque réponse.
2. **Analyser** — Les traces sont classées : mauvais outil, contexte manquant, consigne ambiguë.
3. **Corriger** — Prompts, descriptions d'outils, skills, paramètres de routage.
4. **Vérifier** — Les corrections sont testées sur des cas tenus à l’écart. Un humain valide avant la mise en production.

Chaque version est comparée à la précédente, chiffres à l'appui.

## Votre entreprise

vos données, vos équipes, vos outils

<!-- parity:orbit-questions -->

[Thème 01 · Conformité & données](https://www.heyintent.com/conformite)

[« Nos équipes mettent des données clients dans ChatGPT. On a le droit ? »](https://www.heyintent.com/conformite#donnees-clients-chatgpt)

[Thème 02 · Sécurité](https://www.heyintent.com/securite)

[« Un agent qui a accès à nos emails et à nos fichiers, ce n'est pas dangereux ? »](https://www.heyintent.com/securite#agent-acces-emails-fichiers)

[Thème 03 · L’IA au quotidien](https://www.heyintent.com/environnements)

[« On a pris des licences. Personne ne s'en sert vraiment. »](https://www.heyintent.com/environnements#licences-inutilisees)

[Thème 04 · Agents autonomes](https://www.heyintent.com/agents)

[« Un agent, c'est quoi exactement par rapport à ChatGPT ? »](https://www.heyintent.com/agents#agent-vs-chatgpt)

[Thème 05 · Modèles locaux](https://www.heyintent.com/modeles-locaux)

[« Certaines données ne doivent pas sortir. Donc on ne fait rien. »](https://www.heyintent.com/modeles-locaux#donnees-qui-ne-sortent-pas)

[Thème 06 · Mesurer les résultats de l’IA](https://www.heyintent.com/evaluation)

[« Comment savoir si ça marche vraiment ? »](https://www.heyintent.com/evaluation#comment-savoir-si-ca-marche)

<!-- /parity:orbit-questions -->

### Ce que les thèmes partagent

<!-- parity:relations -->

- [Conformité & données](https://www.heyintent.com/conformite) et [Sécurité](https://www.heyintent.com/securite) : données autorisées, accès limités
- [Conformité & données](https://www.heyintent.com/conformite) et [Modèles locaux](https://www.heyintent.com/modeles-locaux) : fournisseurs, hébergement
- [Sécurité](https://www.heyintent.com/securite) et [Agents autonomes](https://www.heyintent.com/agents) : droits, validation humaine
- [Sécurité](https://www.heyintent.com/securite) et [L’IA au quotidien](https://www.heyintent.com/environnements) : connecteurs, extensions
- [L’IA au quotidien](https://www.heyintent.com/environnements) et [Agents autonomes](https://www.heyintent.com/agents) : outils, contexte métier
- [Agents autonomes](https://www.heyintent.com/agents) et [Mesurer les résultats de l’IA](https://www.heyintent.com/evaluation) : taux d’erreur, test comparatif
- [Modèles locaux](https://www.heyintent.com/modeles-locaux) et [Mesurer les résultats de l’IA](https://www.heyintent.com/evaluation) : cloud ou local, mesuré
- [L’IA au quotidien](https://www.heyintent.com/environnements) et [Mesurer les résultats de l’IA](https://www.heyintent.com/evaluation) : temps rendu, adoption

<!-- /parity:relations -->

Choisissez un thème pour lire ses questions et voir les sujets qu’il partage avec les autres.

Intent fait tenir l'ensemble


## Références de réalisation logicielle

> Yann a su nous aider à construire les produits qui nous ont permis de fidéliser et conquérir de nouveaux clients. Des solutions concrètes et pragmatiques adaptées à des besoins complexes.
>
> — Guillaume Petrault, Directeur des opérations (A3 distrib / Nielsen)

> Yann a toujours été la ressource qui nous a aidés à convaincre des clients complexes, et à proposer des solutions vraiment pragmatiques. Même après ma reconversion professionnelle, je fais toujours appel à lui pour mes outils digitaux.
>
> — Aude Blanc-Brude, Ex-CEO (2BO&CO, Thérapeute)

> La mise en place de notre nouvelle vitrine internet était une étape importante pour Inmind. Maxime, Jeremy et Yann ont su nous accompagner de l'idée à la mise en production de notre site, qui correspond pleinement à nos attentes.
>
> — Quentin Montardy, CEO (InmindVR)

> Yann ne se contente pas de développer, il construit des solutions qui créent de la valeur. Les outils qu'il a réalisés ont été décisifs pour notre exit, et sa vision stratégique continue d'être un pilier dans le développement de NBI. Un vrai partenaire technique sur le long terme.
>
> — Hervé Pochat, CEO (Amset, NBI)

> Yann apporte un calme précieux. Il prend le temps d'analyser les problèmes complexes pour proposer des solutions réfléchies et durables. Sa capacité à structurer le code, documenter les choix et débloquer les situations difficiles, toujours avec sérénité, en fait un partenaire de confiance.
>
> — Nathan Benchimol, CEO (Nomiks)

> Yann a été pendant très longtemps le partenaire qui nous a amené la culture du développement. Il nous a construit beaucoup de produits et de sites, et nous a permis de faire les bons choix au niveau de notre stack technique pendant de nombreuses années.
>
> — Marc Cozic, Ex-RI (Agir recouvrement)

> Travailler avec Yann, c'est assez sécurisant, les projets avancent au rythme déterminé, et on n'a pas de mauvaises surprises, ni au niveau des livrables, ni au niveau financier. Il possède aussi un grand sens de la pédagogie, ce qui rend les choses techniques accessibles et les décisions simples.
>
> — Elsa Lyon, CEO Elyope & PhD (Elyope)

## Contact

Un système en place dont vous ne savez pas s'il marche ? Un premier échange suffit pour savoir quoi mesurer.

Votre nom, votre email et votre message sont transmis via Pipedream pour vous répondre. Voir les destinataires, la conservation et vos droits dans la [politique de confidentialité](https://www.heyintent.com/privacy).

Pour me contacter : le formulaire du site, [contact@heyintent.com](mailto:contact@heyintent.com) ou [réservez un échange](https://calendar.app.google/wnM7uS8CjYFGzqnv9).

- [Réserver un créneau](https://calendar.app.google/wnM7uS8CjYFGzqnv9) : 30 minutes, en visio
- [LinkedIn](https://www.linkedin.com/in/yann-jezequel-67a53b7/) : échanger directement
- [Formulaire de contact](https://www.heyintent.com/#contact)
- [contact@heyintent.com](mailto:contact@heyintent.com)
