Silicon
Ryzen AI Halo face au DGX Spark : ce que 128 Go ne disent pas
Ryzen AI Halo et DGX Spark proposent 128 Go, mais leurs performances changent selon le modèle et le protocole. Mesures constructeur et essais indépendants audités.
Dossiers
Tous les dossiers
Tous les articles de LeCompute : silicium, runtimes d'inférence, edge AI, coûts et observabilité système.
67 articles publiés , page 2 sur 6
Tous les articles (page 2)
Silicon
BlueField-4 face à Pensando Salina : le DPU entre dans le chemin de l'inférence
BlueField-4 et Pensando Salina ne calculent aucun token. Ils déplacent le réseau, le stockage, la sécurité et certains transferts du KV cache hors du CPU hôte. Voici le chemin de données qui peut libérer le GPU, ou seulement déplacer le goulot.
Coûts
MLPerf Endpoints : peut-on enfin comparer les fournisseurs d'inférence ?
MLPerf Endpoints mesure un service d'inférence derrière son API, sous plusieurs niveaux de charge. La version 0.7 trace enfin la courbe entre débit, TTFT, TPOT et qualité, mais ne normalise pas encore le coût.
Runtimes
MLPerf RAG mesure enfin toute la chaîne, pas encore le service
MLPerf E2E-RAG chronomètre l'ingestion, la recherche, le reranking et quatre rôles LLM dans une boucle multi-hop. Son débit est comparable, mais son scénario offline et sa précision de référence à 35 % bornent le verdict.
Silicon
UALink 2.0 contre NVLink 6 : quand le réseau calcule l'all-reduce
UALink 2.0 standardise le calcul dans le réseau ; NVLink 6 l'intègre dans ses switches. Voici ce que ce mécanisme change, et pourquoi Helios et Vera Rubin restent impossibles à départager.
Runtimes
DWDP pour les MoE : déplacer les poids plutôt que les tokens
Le parallélisme d'experts déplace les tokens vers les poids. DWDP inverse le trajet, précharge les poids distants et supprime la synchronisation entre rangs. Le pari fonctionne, mais dans un régime étroit.
Silicon
Mac Studio M3 Ultra limité à 96 Go : ce qui change pour les LLM locaux
Apple vendait le M3 Ultra avec 256 ou 512 Go de mémoire unifiée. Il ne reste que 96 Go. La puce n'a pas ralenti, mais une classe entière de modèles locaux vient de sortir du catalogue.
Silicon
RTX PRO 6000 ou trois RTX 5090 : 96 Go ne font pas une mémoire unique
Une RTX PRO 6000 et trois RTX 5090 totalisent chacune 96 Go de GDDR7. Pour un LLM, cette égalité s'arrête au nombre : pool unique, modèle réparti et répliques indépendantes ne paient pas les mêmes coûts.
Runtimes
vLLM 0.27 : le KV cache devient pair-à-pair
vLLM 0.27 permet à chaque moteur de servir son KV cache CPU à un autre pair via NIXL, ajoute le filtrage par requête et expose des événements routables. Le cache change d'échelle, mais pas sans coût réseau.
Silicon
RTX Spark sous Windows : CUDA est natif, la pile LLM ne l'est pas encore
RTX Spark apporte jusqu'à 128 Go de mémoire unifiée et CUDA natif à Windows on Arm. Au 12 août, le pilote et CUDA 13.4 restent en Developer Preview, TensorRT-RTX est prêt, tandis que PyTorch, llama.cpp et la pile de serving sont encore à qualifier.
Kernel & Perf
La décision d'une voiture autonome n'a pas de temps réel : qui la porte ?
Un réseau de neurones n'a pas de WCET exploitable pour la certification : le composant central de la conduite automatisée reste une boîte noire probabiliste. L'industrie ne le nie pas : elle déplace la garantie vers une couche qu'elle sait borner.
Runtimes
Kimi K3 ouvre 2,8 T de paramètres, pas un modèle local
Kimi K3 active 104 milliards de paramètres sur 2,8 billions, combine KDA et MLA sur un contexte d'un million de tokens, puis demande un nœud de huit B300 ou huit MI355X dans les recettes vLLM. Anatomie de ce que les poids ouverts changent réellement.