Comparer le même travail avant de comparer les factures
Une API de raisonnement et un petit modèle local n’offrent pas automatiquement le même service. Choisissez d’abord des tâches représentatives, un niveau de qualité acceptable et un délai de réponse. Les solutions qui passent ce test peuvent ensuite être comparées en coût par tâche réussie.
Le volume doit inclure les tentatives répétées, les appels d’outils et les réponses rejetées. Un modèle moins cher par token peut coûter davantage par dossier traité s’il demande plus d’appels. Conservez aussi les contraintes de confidentialité, de disponibilité et d’exploitation qui peuvent imposer une architecture même lorsque son coût est supérieur.
Reconstituer le prix API à partir du trafic
La facture API se calcule par catégorie : tokens d’entrée non cachés, entrée cachée, sortie et, selon le contrat, outils ou autres unités. Pour chaque catégorie, multipliez son volume par son tarif. Les remises batch ou les engagements ne s’appliquent que si votre usage remplit leurs conditions.
Un prix moyen par million de tokens est pratique pour un simulateur, à condition de le recalculer pour votre mix. Une application qui envoie de longs documents et produit de courtes réponses n’a pas le même prix effectif qu’un agent qui génère beaucoup de texte. Les tarifs des modèles changent : utilisez votre offre et sa date plutôt qu’une moyenne de marché présentée comme une règle.
Compter le serveur entier et ses heures facturées
Pour un GPU loué, partez de l’instance commandée : GPU, CPU, RAM, stockage, réseau et options. Ajoutez le coût d’exploitation réellement imputable au service. Ne facturez pas deux fois l’électricité ou le refroidissement déjà inclus dans une location ; pour du matériel acheté, ces postes s’ajoutent à l’amortissement et à la maintenance.
Le 3 novembre 2026, la grille OVHcloud affiche l’instance h100-380, à un H100, à 2,80 € HT/h. Scaleway affiche H100-1-80G à 2,87 € HT/h en PAR-2. Ces relevés ne promettent ni capacité immédiatement disponible ni même performance pour toute charge. Le guide des GPU cloud en France et en Europe distingue les références, le nombre de GPU et les frais à vérifier.
Vérifier que le GPU peut atteindre le seuil financier
Prenons un scénario pédagogique, sans benchmark matériel : une location à 2,80 €/h, une provision d’exploitation choisie de 1,20 €/h et une API au prix moyen hypothétique de 3 €/million de tokens. Un serveur coûte alors 4 × 720 = 2 880 €/mois. L’égalité avec l’API arrive à 960 millions de tokens par mois, soit 32 millions par jour.
Supposons maintenant que votre test ait donné 500 tokens utiles par seconde à la latence requise, et que le trafic n’exploite cette capacité que la moitié du temps. Le budget de production devient 500 × 0,5 × 86 400 = 21,6 millions de tokens par jour. Le serveur ne peut donc pas atteindre seul les 32 millions nécessaires à son seuil financier.
| Élément | Hypothèse ou résultat |
|---|---|
| Coût complet d'un serveur | 4 €/h, soit 2 880 €/mois |
| API hypothétique | 3 €/million de tokens, mix constant |
| Égalité financière pour un serveur | 32 millions de tokens/jour |
| Capacité supposée d'un serveur | 21,6 millions de tokens/jour |
| Deux serveurs continus | 5 760 €/mois, capacité supposée 43,2 millions/jour |
À 32 millions de tokens par jour, deux serveurs coûtent 5 760 €/mois contre 2 880 € pour cette API hypothétique. Cela ne prouve rien sur toutes les API ou tous les GPU : cela montre pourquoi il faut vérifier la capacité avant de conclure à partir du seul seuil financier. Une réserve pour les pannes ou les pointes de trafic augmente encore la capacité à provisionner.
Faire varier les hypothèses dans le calculateur
Le calculateur ci-dessous utilise un prix API moyen et un débit agrégé sur un mix de requêtes constant. Ses valeurs initiales sont des scénarios modifiables, pas un relevé du marché. Le taux d’utilisation représente la part de la capacité de production effectivement exploitée sur la période ; il ne correspond pas directement au pourcentage GPU affiché par un outil de supervision.
Le nombre de GPU est arrondi au supérieur. Ce modèle simple ne simule ni les files d’attente ni le partage d’un modèle entre plusieurs cartes : pour un modèle qui exige plusieurs GPU par réplique, comptez la réplique entière et sa capacité mesurée. La comparaison des moteurs d’inférence explique comment recueillir ce débit et les latences.
Choisir API, cloud ou matériel acheté
Une API évite de provisionner vous-même la capacité, mais demande de vérifier ses limites, ses options de résidence et son contrat. Le cloud donne accès à une configuration testable sans achat ; son intérêt économique dépend des heures facturées et du travail d’exploitation. Le local demande un investissement et une équipe capables de conserver la machine utile dans le temps.
Avant d’acheter, vérifiez aussi la mémoire. Les seuls poids d’un modèle dense de 70 milliards de paramètres à exactement 4 bits représentent 35 Go décimaux, avant métadonnées et cache : 32 Go ne suffisent pas à ce stockage brut complet. Une quantification différente ou un déport en RAM change les compromis. Le budget du KV cache permet ensuite de dimensionner le contexte et la concurrence.
Sources et méthode
Révision du 3 novembre 2026 : retrait des seuils universels de volume et d’utilisation, exemple de capacité vérifiable, correction du budget mémoire et nouveaux relevés de location. Prix publics hors taxes : OVHcloud, instances GPU et Scaleway, grille GPU en PAR-2, consultés à cette date. Les 1,20 €/h d’exploitation, 3 €/million de tokens et 500 tokens/s de l’exemple sont des hypothèses, pas des prix fournisseurs ni des mesures. Les calculs supposent un mix de requêtes et une qualité constants. Le comparateur ouvert llm-inference-cost et sa démo prolongent le calcul vers le matériel possédé.
