Dossiers
Tous les articles de LeCompute : silicium, runtimes d'inférence, edge AI, coûts et observabilité système.
54 articles publiés , page 4 sur 5
Runtimes
NVIDIA Dynamo 1.0, SGLang 0.5.12, TensorRT-LLM 1.3, Tenstorrent Blackhole : la disaggregation prefill/decode entre en production. Implémentations, benchmarks et contre-arguments.
Runtimes
Le KV cache a cessé d'être un résidu VRAM subi : il possède sa propre quantification (TurboQuant ~3 bits), son protocole de transfert, son stockage hiérarchique (KVBM G1→G4) et son routage dédié. Anatomie de cette mutation.
Silicon
NVIDIA Vera Rubin n'est pas qu'un GPU plus rapide : l'inférence éclate en trois tiers (prefill GPU, decode LPU, orchestration CPU) coordonnés par Dynamo.
Coûts
Le vrai coût de l'inférence LLM en 2026 : prix des API au token, location de GPU, auto-hébergement. Calculez votre point de bascule, chiffres et sources à l'appui.
Silicon
H100 Hopper face aux Blackwell B200 et B100 : architecture, mémoire HBM3e, NVLink 5 et débit mesuré en inférence LLM. D'où vient le gain, et pour quelles charges il compte.
Coûts
Où louer des GPU H100, H200 et Blackwell en France et en Europe en 2026 : Scaleway, OVHcloud, alternatives, prix relevés, souveraineté et pénurie.
Silicon
RTX 5090 vs H100 pour faire tourner un LLM en local : 32 Go GDDR7 face à 80 Go HBM3, ce qui tient vraiment en VRAM, et pourquoi ce ne sont pas les mêmes produits.
Silicon
En génération autorégressive à faible batch, la bande passante HBM peut limiter les LLM avant les FLOPS. KV cache, NVLink et dimensionnement expliqués.
Silicon
CUDA vs ROCm en 2026 : le débat n'est plus « est-ce que ROCm marche » mais « quel écart reste-t-il ». Versions, parité framework, vrais verrous, sources.
Edge AI
Le paysage des accélérateurs edge a basculé : Jetson Thor ouvre un palier Blackwell, le Hailo-10H fait du GenAI, et Google Coral est abandonné. Comparatif 2026.
Runtimes
Trois runtimes d'inférence LLM, trois philosophies : débit serveur, déploiement local, performance verrouillée NVIDIA. Matrice de décision claire pour choisir.
Runtimes
Le KV cache explique pourquoi un LLM consomme autant de VRAM. Définition, calcul de taille concret, PagedAttention, quantification FP8 et prefix caching.
