Outils
Outils interactifs
Outils interactifs pour dimensionner et raisonner sur l'infrastructure LLM : VRAM, KV cache, coût d'inférence et comparateurs de GPU.
-
Mémoire
Calculateur de VRAM pour LLM
Combien de VRAM pour un modèle donné, en fonction de la quantification, du contexte et du batch ? Comparatif avec les GPU courants.
Ouvrir le calculateur → -
Coûts
Comparateur coût d'inférence
Comparer le coût d'un même volume de tokens entre une API LLM, une location de GPU cloud et un auto-hébergement.
Bientôt -
KV cache
Calculateur de KV cache
Taille du KV cache en fonction du modèle, du contexte et du batch, isolée des poids — pour raisonner sur le scaling de la mémoire.
Bientôt -
Silicon
Comparateur GPU
Mettre côte à côte H100, B200, MI355X et leurs cousins — bande passante HBM, TFLOPS, prix de location.
Bientôt