Silicon
Mac Studio M3 Ultra 96 Go : quels LLM locaux tiennent encore ?
Évaluer un M3 Ultra 96 Go pour les LLM locaux : 819 Go/s, poids, contexte et MLX. Avec la distinction entre le catalogue M3 historique et les M5 actuels.
Dossiers
Tous les articles de LeCompute : silicium, runtimes d'inférence, edge AI, coûts et observabilité système.
73 articles publiés , page 3 sur 7
Silicon
Évaluer un M3 Ultra 96 Go pour les LLM locaux : 819 Go/s, poids, contexte et MLX. Avec la distinction entre le catalogue M3 historique et les M5 actuels.
Silicon
Une RTX PRO 6000 et trois RTX 5090 totalisent chacune 96 Go de GDDR7. Pour un LLM, cette égalité s'arrête au nombre : pool unique, modèle réparti et répliques indépendantes ne paient pas les mêmes coûts.
Runtimes
vLLM 0.27 permet à chaque moteur de servir son KV cache CPU à un autre pair via NIXL, ajoute le filtrage par requête et expose des événements routables. Le cache change d'échelle, mais pas sans coût réseau.
Silicon
RTX Spark apporte jusqu'à 128 Go de mémoire unifiée et CUDA natif à Windows on Arm. Au 12 août, le pilote et CUDA 13.4 restent en Developer Preview, TensorRT-RTX est prêt, tandis que PyTorch, llama.cpp et la pile de serving sont encore à qualifier.
Kernel & Perf
Un réseau de neurones n'a pas de WCET exploitable pour la certification : le composant central de la conduite automatisée reste une boîte noire probabiliste. L'industrie ne le nie pas : elle déplace la garantie vers une couche qu'elle sait borner.
Runtimes
Kimi K3 active 104 milliards de paramètres sur 2,8 billions, combine KDA et MLA sur un contexte d'un million de tokens, puis demande un nœud de huit B300 ou huit MI355X dans les recettes vLLM. Anatomie de ce que les poids ouverts changent réellement.
Runtimes
Le scheduler d'un moteur d'inférence n'arbitre pas entre débit et latence, mais entre deux latences : le temps jusqu'au premier token et le temps entre les suivants. Trois moteurs majeurs, trois défauts opposés, et rien ne le signale à celui qui déploie.
Runtimes
Un mixture-of-experts ne supprime pas le coût, il le déplace deux fois : du calcul vers la mémoire, puis de la mémoire vers le réseau. Le second basculement a un seuil, il se calcule, et c'est lui qui décide de votre topologie.
Coûts
Un modèle de conduite est une fonction de sa distribution de données. Mais le coût du transport n'est pas où on le croit : la perception se recale pour presque rien, le comportement non, et la validation domine tout. Le prix d'entrée sur un marché est une facture de simulation.
Runtimes
AMD lance Infera pour router les requêtes selon le KV cache, séparer prefill et decode, puis déporter le cache hors du GPU. Face à Dynamo et llm-d, la différence se joue moins sur les fonctions promises que sur le périmètre réellement livré.
Silicon
Le MI455X embarque 432 Go de HBM4, contre 288 Go pour Rubin. Mais AMD doit aussi prouver que son tissu UALoE transforme cet avantage de capacité en performances au niveau du rack.
Edge AI
AMD intègre l'équipe FastFlowLM, dont le runtime exécute déjà des LLM sur les NPU XDNA2 des Ryzen AI. Architecture, benchmarks, consommation et limites mémoire.