Thème 05 · Modèles locaux
Ce qui ne doit pas sortir
n'a pas à vous bloquer.
Données de santé, dossiers clients, code propriétaire, volumes qui feraient exploser la facture : certains usages n'ont pas vocation à partir dans le cloud. Plutôt que d'y renoncer, on les sert depuis votre infrastructure, derrière une passerelle (point de passage commun) qui route chaque requête au bon endroit.
01 Vos questions
Ce que l'on me demande,
et ce que je réponds.
Les questions sont celles des dirigeants, telles qu'ils les posent. Les réponses sont directes : ce qui est vrai, ce qui dépend, et ce que je fais pour y répondre.
-
Question 01 #
« Certaines données ne doivent pas sortir. Donc on ne fait rien. »
C'est le raisonnement qui bloque le plus de PME. Pourtant la question n'est pas « cloud ou rien », c'est « quelle donnée a besoin de quel niveau ». Les données sensibles peuvent être traitées par un modèle ouvert (paramètres du modèle accessibles) hébergé chez vous ou chez un hébergeur européen. Le reste continue d'aller vers les modèles cloud, qui restent meilleurs sur beaucoup de tâches.
Ce que je fais
Une classification des données en trois niveaux, et une passerelle (point de passage commun) qui route chaque requête selon le niveau. Vous ne renoncez pas au sujet, vous le découpez.
-
Question 02 #
« Peut-on faire tourner une IA chez nous ? Faut-il un GPU ? Combien ? »
Oui, sous conditions. Un serveur avec une ou deux cartes graphiques (processeur de calcul), chez vous ou chez un hébergeur européen, peut servir un modèle ouvert (paramètres du modèle accessibles) de taille moyenne à une équipe, tant que le nombre de requêtes simultanées reste modéré. Ce qui dimensionne : le modèle choisi, la longueur des documents traités et le nombre d'utilisateurs en même temps.
Et le local a des coûts que le cloud n'a pas : le matériel ou sa location, l'électricité, les mises à jour, et quelqu'un pour s'en occuper le jour où ça tombe. Il devient intéressant à partir d'un certain volume, ou d'une contrainte forte sur les données. Pas avant.
Ce que je fais
Je mesure la charge réelle sur un GPU (processeur de calcul) loué à l'heure, puis je compare le coût complet du local et du cloud sur votre volume, avant de recommander un achat ou un abonnement.
-
Question 03 #
« Un modèle open source sera-t-il assez bon pour nous ? »
Parfois oui, parfois non. Pour classer, extraire, résumer ou répondre sur vos propres documents, les modèles ouverts (paramètres du modèle accessibles) actuels suffisent souvent. Pour du raisonnement long ou du code complexe, les modèles cloud gardent l'avantage. Personne ne peut le savoir sans mesurer sur vos cas.
Ce que je fais
Un benchmark (test comparatif) tiré de vos cas réels compare cloud et local, usage par usage, avant de décider.
-
Question 04 #
« Cloud souverain, hébergeur français : est-ce une vraie option ? »
Héberger les données en Europe ne suffit pas à garantir leur protection contre des lois extraterritoriales. Je vérifie l'offre précise, les sociétés qui l'opèrent, leurs sous-traitants et les accès possibles. Un fournisseur français ou européen doit lui aussi être évalué sur ces critères.
Ce que je fais
Une cartographie des options d'hébergement par niveau de donnée, en séparant localisation des données et droit applicable, avec les conditions de chacune.
-
Question 05 #
« Comment éviter de dépendre d'un seul fournisseur ? »
En ne codant jamais contre un fournisseur directement. Une passerelle (point de passage commun) expose une seule API (interface entre logiciels) à vos applications, les prompts (consigne au modèle) et les jeux d'évaluation (cas de test) sont versionnés, et changer de modèle devient une décision mesurée : on rejoue le benchmark (test comparatif), on compare, on bascule. La passerelle réduit le coût du changement, elle ne le supprime pas : les prompts et les sorties sont à retester.
Ce que je fais
Une passerelle (point de passage commun) unique, des prompts (consigne au modèle) versionnés, et un benchmark (test comparatif) que l'on rejoue avant chaque changement de modèle.
-
Question 06 #
« Nos applications parlent à trois fournisseurs différents, sans vue d'ensemble. »
C'est le signe qu'il manque une couche. Une passerelle (point de passage commun) comme OmniRoute offre une seule API (interface entre logiciels) compatible OpenAI à toutes vos applications, route chaque requête vers le cloud ou le local selon la sensibilité, et apporte ce qui manque : quotas, journaux, repli en cas de panne, et une facture lisible.
Ce que je fais
La passerelle (point de passage commun) en place, les applications migrées une à une, et un tableau de bord des coûts par usage.
02 Mise en place
Ce que je mets en place
Un modèle exécuté sur vos serveurs, un point de passage pour les requêtes et des tests pour décider. Le choix dépend de vos contraintes.
-
01
Serveur d'inférence
vLLM (logiciel exécutant les modèles) pour servir des modèles ouverts (paramètres du modèle accessibles) (Qwen, Llama, Mistral, Gemma) sur vos GPU (processeur de calcul), en local ou chez un hébergeur européen. Capacité adaptée à vos usages, compression du modèle si nécessaire et suivi de charge.
-
02
Passerelle de routage
OmniRoute (point de passage commun) ou équivalent : une seule API (interface entre logiciels) compatible OpenAI pour toutes vos applications, qui route chaque requête vers le cloud ou le local selon la sensibilité, avec quotas, journaux et repli.
-
03
Choisir en mesurant
Parfois oui, parfois non. Un benchmark (test comparatif) tiré de vos cas réels compare cloud et local, usage par usage, avant de décider.
- Briques
Livrable : un serveur d'inférence dimensionné, une passerelle en place, et le benchmark qui a décidé de l'un et de l'autre.
Parler de votre situation03 Vue d'ensemble
Les questions
se tiennent.
Répondre à l'une sans les autres, c'est reprendre le sujet six mois plus tard. Votre entreprise au centre, ce thème parmi les six, et ce qu'il partage avec les autres.
- 01 Conformité & données
« Nos équipes mettent des données clients dans ChatGPT. On a le droit ? »
- 02 Sécurité
« Un agent qui a accès à nos emails et à nos fichiers, ce n'est pas dangereux ? »
- 03 L’IA au quotidien
- 04 Agents autonomes
- 05 Modèles locaux
« Certaines données ne doivent pas sortir. Donc on ne fait rien. »
- 06 Mesurer les résultats de l’IA
Ce que les thèmes partagent
- Conformité & données et Sécurité : données autorisées, accès limités
- Conformité & données et Modèles locaux : fournisseurs, hébergement
- Sécurité et Agents autonomes : droits, validation humaine
- Sécurité et L’IA au quotidien : connecteurs, extensions
- L’IA au quotidien et Agents autonomes : outils, contexte métier
- Agents autonomes et Mesurer les résultats de l’IA : taux d’erreur, test comparatif
- Modèles locaux et Mesurer les résultats de l’IA : cloud ou local, mesuré
- L’IA au quotidien et Mesurer les résultats de l’IA : temps rendu, adoption
Choisissez un thème pour lire ses questions et voir les sujets qu’il partage avec les autres.
Thème
Voir le thèmeSix thèmes, une seule réponse cohérente. Je traite chacun, et surtout je les fais tenir ensemble. La vue d'ensemble
04 Témoignages
Références de réalisation logicielle
Yann a su nous aider à construire les produits qui nous ont permis de fidéliser et conquérir de nouveaux clients. Des solutions concrètes et pragmatiques adaptées à des besoins complexes.
Yann a toujours été la ressource qui nous a aidés à convaincre des clients complexes, et à proposer des solutions vraiment pragmatiques. Même après ma reconversion professionnelle, je fais toujours appel à lui pour mes outils digitaux.
La mise en place de notre nouvelle vitrine internet était une étape importante pour Inmind. Maxime, Jeremy et Yann ont su nous accompagner de l'idée à la mise en production de notre site, qui correspond pleinement à nos attentes.
Yann ne se contente pas de développer, il construit des solutions qui créent de la valeur. Les outils qu'il a réalisés ont été décisifs pour notre exit, et sa vision stratégique continue d'être un pilier dans le développement de NBI. Un vrai partenaire technique sur le long terme.
Yann apporte un calme précieux. Il prend le temps d'analyser les problèmes complexes pour proposer des solutions réfléchies et durables. Sa capacité à structurer le code, documenter les choix et débloquer les situations difficiles, toujours avec sérénité, en fait un partenaire de confiance.
Yann a été pendant très longtemps le partenaire qui nous a amené la culture du développement. Il nous a construit beaucoup de produits et de sites, et nous a permis de faire les bons choix au niveau de notre stack technique pendant de nombreuses années.
Travailler avec Yann, c'est assez sécurisant, les projets avancent au rythme déterminé, et on n'a pas de mauvaises surprises, ni au niveau des livrables, ni au niveau financier. Il possède aussi un grand sens de la pédagogie, ce qui rend les choses techniques accessibles et les décisions simples.
05 Contact
Parlons de votre projet.
Des données qui ne peuvent pas sortir, et un projet bloqué à cause de ça ? Un premier échange suffit pour savoir si le local est une option.