Runtimes & Inférence
vLLM, llama.cpp, TensorRT-LLM, KV cache et quantification : comment servir des modèles de langage efficacement, du datacenter au poste local.
11 articles
Runtimes
Le 8 juillet 2026, OpenAI a désavoué SWE-Bench Pro : ~30 % de tâches cassées. C'est le troisième instrument de référence déclaré mort en trois générations. Anatomie d'une crise de métrologie : plafond de bruit, contamination, et un effet harnais qui vaut une génération de modèle.
Runtimes
Quantification, GQA, MLA, fenêtre glissante, MoE, attention sparse, SSM : le zoo des techniques pour alléger un LLM est vaste. Plutôt qu'une liste, une carte rangée par la ressource qu'on attaque : les poids, le KV cache, le calcul par token, le matériel.
Runtimes
Gemma borne le KV cache ; les modèles à espace d'états, Mamba et ses hybrides, le suppriment, en remplaçant le cache qui enfle par un état de taille constante. Une mémoire qui ne suit plus le contexte, mais qui bute sur le rappel exact, ce qui a fait des hybrides le format gagnant de 2026.
Runtimes
Gemma 4 tient 256K tokens de contexte sans faire exploser la VRAM, grâce à une idée d'attention héritée de Gemma 3 : n'utiliser l'attention globale qu'une couche sur six, et fenêtrer toutes les autres. Comment ça marche, ce que ça coûte, et pourquoi la perplexité n'en souffre pas.
Runtimes
DeepSeek-V4 compresse son attention si fort que le servir mal ne plante pas : ça dégrade l'exactitude en silence. Versions minimales par runtime, le flag qui restaure GSM8K, et comment le vérifier.
Runtimes
NVFP4, MXFP4, W4A4, TurboQuant : le paysage FP4 s'est fragmenté en dialectes. Chaque runtime choisit le sien, et le choix dépend du matériel, du modèle et de la charge.
Runtimes
NVIDIA Dynamo 1.0, SGLang 0.5.12, TensorRT-LLM 1.3, Tenstorrent Blackhole : la disaggregation prefill/decode entre en production. Implémentations, benchmarks et contre-arguments.
Runtimes
Le KV cache a cessé d'être un résidu VRAM subi : il possède sa propre quantification (TurboQuant ~3 bits), son protocole de transfert, son stockage hiérarchique (KVBM G1→G4) et son routage dédié. Anatomie de cette mutation.
Runtimes
Trois runtimes d'inférence LLM, trois philosophies : débit serveur, déploiement local, performance verrouillée NVIDIA. Matrice de décision claire pour choisir.
Runtimes
Le KV cache explique pourquoi un LLM consomme autant de VRAM. Définition, calcul de taille concret, PagedAttention, quantification FP8 et prefix caching.
Runtimes
Comment llama.cpp fait tenir des modèles de dizaines de milliards de paramètres sur du matériel grand public : format GGUF, quantification et chemin d'un token.
