Tous les articles (page 3)

Silicon

RTX PRO 6000 ou trois RTX 5090 : 96 Go ne font pas une mémoire unique

Une RTX PRO 6000 et trois RTX 5090 totalisent chacune 96 Go de GDDR7. Pour un LLM, cette égalité s'arrête au nombre : pool unique, modèle réparti et répliques indépendantes ne paient pas les mêmes coûts.

13 min de lecture
  • RTX PRO 6000
  • RTX 5090
  • LLM local
  • multi-GPU

Runtimes

vLLM 0.27 : le KV cache devient pair-à-pair

vLLM 0.27 permet à chaque moteur de servir son KV cache CPU à un autre pair via NIXL, ajoute le filtrage par requête et expose des événements routables. Le cache change d'échelle, mais pas sans coût réseau.

13 min de lecture
  • vLLM 0.27
  • KV cache
  • NIXL
  • Offloading

Silicon

RTX Spark sous Windows : CUDA est natif, la pile LLM ne l'est pas encore

RTX Spark apporte jusqu'à 128 Go de mémoire unifiée et CUDA natif à Windows on Arm. Au 12 août, le pilote et CUDA 13.4 restent en Developer Preview, TensorRT-RTX est prêt, tandis que PyTorch, llama.cpp et la pile de serving sont encore à qualifier.

13 min de lecture
  • RTX Spark
  • Windows on Arm
  • CUDA 13.4
  • TensorRT-RTX

Kernel & Perf

La décision d'une voiture autonome n'a pas de temps réel : qui la porte ?

Un réseau de neurones n'a pas de WCET exploitable pour la certification : le composant central de la conduite automatisée reste une boîte noire probabiliste. L'industrie ne le nie pas : elle déplace la garantie vers une couche qu'elle sait borner.

18 min de lecture
  • temps réel
  • WCET
  • ISO 26262
  • sécurité fonctionnelle

Runtimes

Kimi K3 ouvre 2,8 T de paramètres, pas un modèle local

Kimi K3 active 104 milliards de paramètres sur 2,8 billions, combine KDA et MLA sur un contexte d'un million de tokens, puis demande un nœud de huit B300 ou huit MI355X dans les recettes vLLM. Anatomie de ce que les poids ouverts changent réellement.

12 min de lecture
  • Kimi K3
  • Moonshot AI
  • MoE
  • KDA

Runtimes

Latence contre latence : ce que votre scheduler règle vraiment

Le scheduler d'un moteur d'inférence n'arbitre pas entre débit et latence, mais entre deux latences : le temps jusqu'au premier token et le temps entre les suivants. Trois moteurs majeurs, trois défauts opposés, et rien ne le signale à celui qui déploie.

21 min de lecture
  • Scheduler
  • vLLM
  • SGLang
  • TensorRT-LLM

Runtimes

MoE : à partir de quel batch le réseau prend-il le dessus ?

Un mixture-of-experts ne supprime pas le coût, il le déplace deux fois : du calcul vers la mémoire, puis de la mémoire vers le réseau. Le second basculement a un seuil, il se calcule, et c'est lui qui décide de votre topologie.

29 min de lecture
  • MoE
  • Parallélisme d'experts
  • all-to-all
  • DeepEP

Coûts

Ce qui empêche un modèle de conduite de traverser une frontière

Un modèle de conduite est une fonction de sa distribution de données. Mais le coût du transport n'est pas où on le croit : la perception se recale pour presque rien, le comportement non, et la validation domine tout. Le prix d'entrée sur un marché est une facture de simulation.

23 min de lecture
  • Conduite autonome
  • Validation
  • Simulation
  • UNECE

Runtimes

AMD Infera face à Dynamo et llm-d : le routeur prend le contrôle

AMD lance Infera pour router les requêtes selon le KV cache, séparer prefill et decode, puis déporter le cache hors du GPU. Face à Dynamo et llm-d, la différence se joue moins sur les fonctions promises que sur le périmètre réellement livré.

14 min de lecture
  • AMD Infera
  • NVIDIA Dynamo
  • llm-d
  • KV cache