Ce que le cache conserve pendant une conversation
Vous chargez un modèle, posez une question courte et obtenez une réponse. Après l’ajout d’un document ou de plusieurs utilisateurs, le même serveur refuse de nouvelles requêtes. Le fichier du modèle n’a pas changé : la mémoire utilisée pour conserver son historique, elle, a augmenté.
À chaque couche d’attention, le modèle transforme un token en plusieurs vecteurs, dont une clé et une valeur. Le KV cache Mémoire des vecteurs clé et valeur déjà calculés pour chaque token traité par un LLM. Évite de recalculer l'attention sur tout l'historique, au prix d'une consommation mémoire qui croît avec le contexte. Approfondir dans le glossaire garde ces deux projections pour les tokens déjà traités. Lorsqu’il génère le token suivant, le modèle réutilise ces données au lieu de les recalculer depuis le début. L’attention doit encore lire les clés et valeurs utiles : le cache n’efface pas le coût de consultation d’un long historique.
Les poids ont une taille déterminée par le modèle et leur précision. Le cache dépend aussi de l’usage. C’est la raison pour laquelle le calcul de VRAM à partir des seuls paramètres donne une première limite, mais pas la capacité d’un service.
Calculer les octets avant de choisir une carte
Pour un Transformer à attention dense dont toutes les couches ont la même configuration, le calcul brut est :
L’attention par groupes, ou GQA, partage des têtes clé/valeur entre plusieurs têtes de requête. Il faut donc lire le nombre de têtes KV, et pas simplement le nombre total de têtes d’attention, dans la configuration du modèle. Une fenêtre glissante, des couches hybrides ou un cache latent compressé demandent un calcul adapté à leur architecture.
Prenons un exemple de dimensionnement, avec 80 couches, 8 têtes KV et une dimension de tête de 128. En FP16 ou BF16, chaque valeur prend 2 octets : le cache brut utilise 327 680 octets par token. Il ne s’agit pas d’une mesure sur un serveur ni d’une formule valable pour tout modèle de 70 milliards de paramètres.
| Tokens par séquence | 1 séquence FP16 | 1 séquence FP8 | 4 séquences FP16 |
|---|---|---|---|
| 2 048 | 0,625 GiB | 0,3125 GiB | 2,5 GiB |
| 8 192 | 2,5 GiB | 1,25 GiB | 10 GiB |
| 32 768 | 10 GiB | 5 GiB | 40 GiB |
| 131 072 | 40 GiB | 20 GiB | 160 GiB |
À 32 768 tokens, passer d’une à quatre séquences fait passer le cache FP16 de 10 à 40 GiB. Si les poids et les autres allocations laissent seulement 20 GiB libres, la capacité mémoire brute correspond à deux de ces séquences, avant la marge de sécurité. La longueur comprend le prompt et les tokens générés conservés, pas seulement le texte envoyé au départ.
Cette croissance explique aussi le rôle de la bande passante mémoire pendant le décodage. Un cache plus grand occupe davantage de place et peut augmenter la quantité de données à lire à chaque étape. Sa taille seule ne permet toutefois pas de prédire les tokens par seconde.
PagedAttention réduit la mémoire réservée inutilement
Un serveur peut réserver d’avance un grand bloc contigu pour chaque requête, dimensionné pour le contexte maximal. Une conversation courte immobilise alors de la place dont elle n’a pas besoin. PagedAttention découpe le cache en blocs et utilise une table pour retrouver les blocs de chaque séquence. Le moteur peut les attribuer à mesure que l’historique grandit, puis les rendre disponibles à la fin d’une requête.
Cette gestion réduit le gaspillage lié à la réservation et à la fragmentation. Elle ne compresse pas les valeurs K et V. Le nombre de tokens par bloc, le partage des blocs et la politique d’éviction dépendent de l’implémentation ; une partie du dernier bloc peut rester inutilisée.
FP8 réduit la taille des valeurs, avec une qualité à vérifier
Passer de deux octets à un octet par valeur divise par deux la taille brute du cache. Le gain sur la mémoire totale est plus petit, puisque les poids et les buffers ne changent pas forcément. Le backend d’attention et le GPU doivent aussi prendre en charge la configuration retenue.
La documentation vLLM distingue les échelles de quantification par tenseur ou par tête et recommande une calibration sur un jeu de données. Des échelles laissées à 1 ne constituent pas une garantie de qualité. Testez les réponses sur vos documents et vos longueurs de contexte avant d’augmenter la concurrence. La quantification des poids avec llama.cpp est un réglage distinct : un fichier de poids en 4 bits ne signifie pas que le cache utilise lui aussi 4 bits.
Réutiliser un préfixe qui existe vraiment
Si plusieurs requêtes commencent par le même long document, le prefix caching peut réutiliser les blocs déjà calculés pour cette partie commune. La nouvelle requête évite une partie du prefill, le traitement initial du prompt. Cela ne supprime pas le travail nécessaire pour générer sa réponse.
Le résultat dépend des préfixes effectivement identiques, de la place disponible et de la durée de conservation du cache. Des documents différents à chaque appel peuvent donner peu de réutilisation. Mesurez le taux de succès du cache et le temps au premier token, puis comparez une charge avec préfixes communs à une charge sans partage.
Dimensionner le service, puis le tester
Commencez par la mémoire réellement occupée après chargement, ajoutez le cache calculé pour les contextes et la concurrence visés, puis gardez une marge pour les allocations du moteur. Chargez ensuite le service avec des requêtes de longueurs représentatives : la valeur maximale configurée n’est pas la distribution réelle de vos utilisateurs.
Le comparatif vLLM, llama.cpp et TensorRT-LLM détaille les choix de serveur et le protocole de mesure. Si vous devez partager ce cache entre étapes ou machines, le KV cache comme objet central du serving prolonge ce dimensionnement vers l’architecture du service.
Sources et méthode
Révision du 3 novembre 2026 : correction des unités et calculs, distinction entre poids et cache, et conditions de qualité de FP8. Les chiffres du tableau sont des calculs reproductibles sur une architecture explicitement choisie, pas un benchmark maison. Mécanisme et allocation : Kwon et al., PagedAttention, SOSP 2023 et conception de PagedAttention dans vLLM. Fonctionnement et limites : documentation vLLM du cache quantifié et réutilisation automatique des préfixes, consultées à cette date.