Silicon
BlueField-4 et Pensando Salina ne calculent aucun token. Ils déplacent le réseau, le stockage, la sécurité et certains transferts du KV cache hors du CPU hôte. Voici le chemin de données qui peut libérer le GPU, ou seulement déplacer le goulot.
Coûts
MLPerf Endpoints mesure un service d'inférence derrière son API, sous plusieurs niveaux de charge. La version 0.7 trace enfin la courbe entre débit, TTFT, TPOT et qualité, mais ne normalise pas encore le coût.
Runtimes
MLPerf E2E-RAG chronomètre l'ingestion, la recherche, le reranking et quatre rôles LLM dans une boucle multi-hop. Son débit est comparable, mais son scénario offline et sa précision de référence à 35 % bornent le verdict.
Silicon
UALink 2.0 standardise le calcul dans le réseau ; NVLink 6 l'intègre dans ses switches. Voici ce que ce mécanisme change, et pourquoi Helios et Vera Rubin restent impossibles à départager.
Runtimes
Le parallélisme d'experts déplace les tokens vers les poids. DWDP inverse le trajet, précharge les poids distants et supprime la synchronisation entre rangs. Le pari fonctionne, mais dans un régime étroit.
Silicon
Apple vendait le M3 Ultra avec 256 ou 512 Go de mémoire unifiée. Il ne reste que 96 Go. La puce n'a pas ralenti, mais une classe entière de modèles locaux vient de sortir du catalogue.
Silicon
Une RTX PRO 6000 et trois RTX 5090 totalisent chacune 96 Go de GDDR7. Pour un LLM, cette égalité s'arrête au nombre : pool unique, modèle réparti et répliques indépendantes ne paient pas les mêmes coûts.
Runtimes
vLLM 0.27 permet à chaque moteur de servir son KV cache CPU à un autre pair via NIXL, ajoute le filtrage par requête et expose des événements routables. Le cache change d'échelle, mais pas sans coût réseau.
Silicon
RTX Spark apporte jusqu'à 128 Go de mémoire unifiée et CUDA natif à Windows on Arm. Au 12 août, le pilote et CUDA 13.4 restent en Developer Preview, TensorRT-RTX est prêt, tandis que PyTorch, llama.cpp et la pile de serving sont encore à qualifier.
Runtimes
Kimi K3 active 104 milliards de paramètres sur 2,8 billions, combine KDA et MLA sur un contexte d'un million de tokens, puis demande un nœud de huit B300 ou huit MI355X dans les recettes vLLM. Anatomie de ce que les poids ouverts changent réellement.
Runtimes
AMD lance Infera pour router les requêtes selon le KV cache, séparer prefill et decode, puis déporter le cache hors du GPU. Face à Dynamo et llm-d, la différence se joue moins sur les fonctions promises que sur le périmètre réellement livré.
Silicon
Le MI455X embarque 432 Go de HBM4, contre 288 Go pour Rubin. Mais AMD doit aussi prouver que son tissu UALoE transforme cet avantage de capacité en performances au niveau du rack.
Edge AI
AMD intègre l'équipe FastFlowLM, dont le runtime exécute déjà des LLM sur les NPU XDNA2 des Ryzen AI. Architecture, benchmarks, consommation et limites mémoire.
Silicon
À prix quasi égal, le DGX Spark et la RTX 5090 répondent à deux questions opposées : loger un très gros modèle, ou servir vite un modèle moyen. Le duel chiffré, mesures et mécanismes à l'appui.
Silicon
Choisir un GPU pour un LLM se joue sur trois questions : combien de mémoire, combien de bande passante, acheter ou louer. La méthode, les verdicts par profil et les prix réels du marché 2026.
Coûts
Ce que coûte un serveur GPU pour LLM en 2026 : de la workstation RTX 5090 au nœud 8 GPU, électricité et hébergement compris, et le point où l'achat bat la location.
Silicon
IBM annonce la première puce « sous 1 nanomètre ». Le chiffre est un nom de nœud, pas une dimension. Le vrai saut est ailleurs : empiler les transistors en 3D, et débloquer le SRAM que l'IA réclame.
Kernel & Perf
Depuis quinze ans, un kernel GPU performant veut dire orchestrer des milliers de threads à la main. CUDA Tile remonte la programmation d'un cran, la tuile, et confie le reste au compilateur. Mécanique, et ce que ça change vraiment.
Runtimes
DeepSeek-V4 compresse son attention si fort que le servir mal ne plante pas : ça dégrade l'exactitude en silence. Versions minimales par runtime, le flag qui restaure GSM8K, et comment le vérifier.
Kernel & Perf
eBPF vous a montré le thread coincé dans la run-queue qui affame le GPU. chrt et cpuset sont des marteaux. sched_ext laisse charger un ordonnanceur CPU sur mesure, en eBPF, sans patch ni redémarrage, taillé pour le prefill et le decode.
Silicon
TorchTPU, PyTorch/XLA, JAX, XLA et vLLM forment une pile dont la clé de voûte est un compilateur. Comment Google s'attaque au seul actif qui retient les développeurs chez NVIDIA : le coût de quitter CUDA.
Silicon
Le RTX Spark (N1X) n'est pas un DGX Spark renommé : c'est le SoC Grace-Blackwell sous Windows on Arm, 128 Go de mémoire unifiée. Pourquoi ce sont les ~273 Go/s, et non le « pétaflop », qui décident de ce qu'il sait faire.
Silicon
Combien de VRAM faut-il pour un LLM en local ? La règle des ~2 Go par milliard de paramètres, le poids du KV cache, l'effet de la quantification, et ce qui tient vraiment sur votre carte.
Runtimes
NVFP4, MXFP4, W4A4, TurboQuant : le paysage FP4 s'est fragmenté en dialectes. Chaque runtime choisit le sien, et le choix dépend du matériel, du modèle et de la charge.
Runtimes
NVIDIA Dynamo 1.0, SGLang 0.5.12, TensorRT-LLM 1.3, Tenstorrent Blackhole : la disaggregation prefill/decode entre en production. Implémentations, benchmarks et contre-arguments.
Runtimes
Le KV cache a cessé d'être un résidu VRAM subi : il possède sa propre quantification (TurboQuant ~3 bits), son protocole de transfert, son stockage hiérarchique (KVBM G1→G4) et son routage dédié. Anatomie de cette mutation.
Silicon
NVIDIA Vera Rubin n'est pas qu'un GPU plus rapide : l'inférence éclate en trois tiers (prefill GPU, decode LPU, orchestration CPU) coordonnés par Dynamo.
Coûts
Le vrai coût de l'inférence LLM en 2026 : prix des API au token, location de GPU, auto-hébergement. Calculez votre point de bascule, chiffres et sources à l'appui.
Silicon
H100 Hopper face aux Blackwell B200 et B100 : architecture, mémoire HBM3e, NVLink 5 et débit mesuré en inférence LLM. D'où vient le gain, et pour quelles charges il compte.
Coûts
Où louer des GPU H100, H200 et Blackwell en France et en Europe en 2026 : Scaleway, OVHcloud, alternatives, prix relevés, souveraineté et pénurie.
Silicon
RTX 5090 vs H100 pour faire tourner un LLM en local : 32 Go GDDR7 face à 80 Go HBM3, ce qui tient vraiment en VRAM, et pourquoi ce ne sont pas les mêmes produits.
Silicon
En génération autorégressive à faible batch, la bande passante HBM peut limiter les LLM avant les FLOPS. KV cache, NVLink et dimensionnement expliqués.
Silicon
CUDA vs ROCm en 2026 : le débat n'est plus « est-ce que ROCm marche » mais « quel écart reste-t-il ». Versions, parité framework, vrais verrous, sources.
Edge AI
Le paysage des accélérateurs edge a basculé : Jetson Thor ouvre un palier Blackwell, le Hailo-10H fait du GenAI, et Google Coral est abandonné. Comparatif 2026.
Runtimes
Trois runtimes d'inférence LLM, trois philosophies : débit serveur, déploiement local, performance verrouillée NVIDIA. Matrice de décision claire pour choisir.
Runtimes
Le KV cache explique pourquoi un LLM consomme autant de VRAM. Définition, calcul de taille concret, PagedAttention, quantification FP8 et prefix caching.
Kernel & Perf
Le GPU est à 30 %, pourquoi ? eBPF et perf diagnostiquent le côté hôte d'une stack (ordonnancement, page faults, I/O), là où les abstractions s'arrêtent.
Runtimes
Comment llama.cpp fait tenir des modèles de dizaines de milliards de paramètres sur du matériel grand public : format GGUF, quantification et chemin d'un token.
Silicon
AMD MI355X face à NVIDIA B200 et B300 : mémoire, bande passante, FP4 et le vrai écart, le scale-up NVLink et le logiciel. Comparatif sourcé, mi-2026.
Edge AI
Ce qui tourne sur un Jetson Orin hors datacenter : LLM quantifiés, vision temps réel, et les vraies limites, mémoire unifiée, thermique, arbitrage edge/cloud.
Silicon
FP8, FP6, FP4 : les formats numériques basse précision de l'inférence 2026. Formats à blocs MXFP4 et NVFP4, compromis portée/débit, et ce que le matériel supporte.
Edge AI
NPU ou GPU embarqué pour l'inférence à l'edge ? Deux philosophies comparées sur l'efficacité énergétique, la flexibilité et le vrai piège : la chaîne de compilation.
