Coûts
Combien coûte un serveur GPU pour LLM : achat, énergie, amortissement
Ce que coûte un serveur GPU pour LLM en 2026 : de la workstation RTX 5090 au nœud 8 GPU, électricité et hébergement compris, et le point où l'achat bat la location.
Dossiers
Tous les dossiers
Tous les articles de LeCompute : silicium, runtimes d'inférence, edge AI, coûts et observabilité système.
67 articles publiés , page 4 sur 6
Tous les articles (page 4)
Silicon
Puce « sous 1 nm » d'IBM : le nanostack expliqué, sans le marketing
IBM annonce la première puce « sous 1 nanomètre ». Le chiffre est un nom de nœud, pas une dimension. Le vrai saut est ailleurs : empiler les transistors en 3D, et débloquer le SRAM que l'IA réclame.
Runtimes
Réduire la VRAM et le calcul d'un LLM : la carte des techniques
Quantification, GQA, MLA, fenêtre glissante, MoE, attention sparse, SSM : le zoo des techniques pour alléger un LLM est vaste. Plutôt qu'une liste, une carte rangée par la ressource qu'on attaque : les poids, le KV cache, le calcul par token, le matériel.
Runtimes
SSM et Mamba : le pari de supprimer le KV cache
Gemma borne le KV cache ; les modèles à espace d'états, Mamba et ses hybrides, le suppriment, en remplaçant le cache qui enfle par un état de taille constante. Une mémoire qui ne suit plus le contexte, mais qui bute sur le rappel exact, ce qui a fait des hybrides le format gagnant de 2026.
Coûts
GLM-5.2 : le jour où la frontière a changé de mains
Le 12 juin 2026, Washington a coupé l'accès européen aux meilleurs modèles d'Anthropic. Le lendemain, un laboratoire chinois publiait GLM-5.2 sous licence MIT, au niveau de GPT-5.5 et Gemini, et que personne ne peut éteindre à distance. Anatomie d'un basculement, du silicium au coût par tâche.
Runtimes
Gemma : le KV cache qui cesse de suivre le contexte
Gemma 4 tient 256K tokens de contexte sans faire exploser la VRAM, grâce à une idée d'attention héritée de Gemma 3 : n'utiliser l'attention globale qu'une couche sur six, et fenêtrer toutes les autres. Comment ça marche, ce que ça coûte, et pourquoi la perplexité n'en souffre pas.
Kernel & Perf
CUDA Tile : programmer le GPU à la tuile, plus au thread
Depuis quinze ans, un kernel GPU performant veut dire orchestrer des milliers de threads à la main. CUDA Tile remonte la programmation d'un cran, la tuile, et confie le reste au compilateur. Mécanique, et ce que ça change vraiment.
Runtimes
Servir DeepSeek-V4 sans casser l'exactitude
DeepSeek-V4 compresse son attention si fort que le servir mal ne plante pas : ça dégrade l'exactitude en silence. Versions minimales par runtime, le flag qui restaure GSM8K, et comment le vérifier.
Kernel & Perf
sched_ext : écrire l'ordonnanceur de votre inférence en eBPF
eBPF vous a montré le thread coincé dans la run-queue qui affame le GPU. chrt et cpuset sont des marteaux. sched_ext laisse charger un ordonnanceur CPU sur mesure, en eBPF, sans patch ni redémarrage, taillé pour le prefill et le decode.
Silicon
TorchTPU, XLA, JAX : comment Google attaque le verrou logiciel de NVIDIA
TorchTPU, PyTorch/XLA, JAX, XLA et vLLM forment une pile dont la clé de voûte est un compilateur. Comment Google s'attaque au seul actif qui retient les développeurs chez NVIDIA : le coût de quitter CUDA.
Silicon
RTX Spark vs DGX Spark : caractéristiques confirmées et limites mémoire
Windows on Arm ou Linux, jusqu’à 128 Go de mémoire : les faits confirmés, les mesures du DGX Spark et ce qui reste inconnu sur le RTX Spark.
Silicon
Combien de VRAM pour faire tourner un LLM en local ?
Combien de VRAM faut-il pour un LLM en local ? La règle des ~2 Go par milliard de paramètres, le poids du KV cache, l'effet de la quantification, et ce qui tient vraiment sur votre carte.