Votre modèle ne tient plus sur une seule carte
Vous avez trouvé un modèle utile pour analyser vos documents ou assister une équipe de développement. Sa version quantifiée dépasse la mémoire de votre GPU. Réduire encore sa précision devient gênant ; vous regardez les stations capables d’accueillir davantage de données.
Deux noms apparaissent : AMD Threadripper Halo Station et NVIDIA DGX Station, dans sa version GB300. Le premier désigne un prototype présenté à l’IFA 2026, annoncé pour 2027. Il ne faut pas le confondre avec le petit Ryzen AI Halo déjà comparé au DGX Spark. Ici, il est question d’une station à plusieurs accélérateurs, face à un système Grace Blackwell Ultra.
La présentation AMD met en avant jusqu’à 2,6 To de mémoire totale et 3,4 fois la capacité du DGX Station. Ce rapport décrit des capacités additionnées. Il ne mesure ni une vitesse de génération, ni le nombre d’agents capables de travailler confortablement.
Cette analyse repose sur les fiches et documentations consultées le 10 septembre 2026. LeCompute n’a testé aucune des deux stations. Les calculs qui suivent sont des exemples de dimensionnement ; les caractéristiques annoncées restent à confirmer sur les configurations commercialisées.
Séparer les mémoires avant d’additionner les chiffres
La HBM High Bandwidth Memory. Mémoire DRAM empilée, intégrée au même package que l'accélérateur et reliée par une interface très large. Elle fournit plusieurs To/s, mais sa topologie de packaging exacte dépend du produit. Approfondir dans le glossaire , ou mémoire à grande bande passante, est placée près du GPU pour alimenter son calcul. La RAM du processeur peut accueillir d’autres données, mais un GPU qui les utilise doit emprunter un autre chemin. Cette distinction existe dans les deux stations.
| Mémoire | Threadripper Halo Station | DGX Station GB300 |
|---|---|---|
| Côté GPU | 4 × 144 Go HBM3e, soit 576 Go | 252 Go HBM3e |
| Débit HBM | 4 To/s par carte ; 16 To/s agrégés | 7,1 To/s |
| Côté CPU | Jusqu’à 2 To RDIMM | 496 Go LPDDR5X |
| Total CPU + GPU | Environ 2,6 To | 748 Go |
La fiche MI350P donne les valeurs par carte ; la fiche DGX Station sépare explicitement mémoire CPU et GPU. Leur rapprochement fait apparaître deux problèmes différents : répartir le travail entre plusieurs GPU, ou exploiter une mémoire CPU accessible depuis un GPU.
Chez AMD, plusieurs cartes peuvent servir plusieurs copies d’un modèle qui tient sur chacune. Elles peuvent aussi recevoir des parties d’un même modèle, si le moteur sait les répartir. Le guide sur une carte ou plusieurs GPU explique pourquoi ces deux usages ne répondent pas au même besoin.
Dans le premier cas, les cartes avancent sur des demandes indépendantes. Dans le second, elles doivent échanger les résultats intermédiaires nécessaires à la suite du calcul. Le total de mémoire peut résoudre le problème de capacité sans résoudre celui du temps de réponse.
La cohérence du DGX Station simplifie l’accès, pas le coût
NVIDIA décrit un espace mémoire cohérent entre Grace et Blackwell : CPU et GPU peuvent accéder à un espace d’adressage partagé. La cohérence maintient une vision compatible des données ; elle ne déplace pas physiquement toute la mémoire près du GPU.
Le guide de placement mémoire Grace insiste justement sur la localité. Une allocation dans la mémoire du CPU et une allocation dans la HBM n’ont pas le même comportement. La facilité d’adressage ne garantit pas que le moteur choisi utilisera cette capacité de façon efficace.
Pour un déploiement, la question utile devient : le moteur conserve-t-il les poids dans la HBM, les lit-il à distance, les transfère-t-il par morceaux ou exécute-t-il certaines opérations sur le CPU ? Ces possibilités produisent des profils différents. « Le modèle se charge » est seulement le début de l’essai.
Sur Halo Station, il faut connaître le trajet entre les cartes
La brochure MI350P indique une interface PCIe Peripheral Component Interconnect Express. Le bus qui relie le GPU au CPU et à la RAM. Sa bande passante (quelques dizaines de Go/s) est un à deux ordres de grandeur sous celle de la VRAM, ce qui fait du transfert hôte↔GPU un goulot dès qu'on déporte des données hors de la carte. 5.0 x16. Elle ne fournit pas une cartographie complète des échanges du futur Halo Station : connexions de la carte mère, partage éventuel des liens et chemin effectif entre accélérateurs.
Deux GPU peuvent échanger directement quand la plateforme et le logiciel le permettent. HIP, l’interface de programmation d’AMD, prévoit une fonction pour interroger cet accès entre pairs. Cela ne prouve pas que tous les couples de cartes d’une station donnée disposent du même chemin ni du même débit.
Il serait tout aussi imprudent de conclure que cette répartition sera forcément mauvaise. Un moteur peut garder chaque partie du modèle près du GPU qui la calcule et limiter les échanges. Plusieurs demandes simultanées peuvent aussi mieux occuper l’ensemble. C’est la charge visée qui permet de juger la topologie.
Faire de la place aux poids et au contexte
Prenons un modèle hypothétique de 600 milliards de paramètres, tous stockés sur 4 bits, et comptons en gigaoctets décimaux. Les poids bruts occupent 600 milliards × 4 / 8, soit 300 Go. Ce calcul exclut les échelles de quantification, les tenseurs conservés dans un autre format et les besoins du moteur.
Dans cet exemple, les poids seuls dépassent la HBM du GPU principal du DGX Station. Une partie doit donc trouver une autre place, ou le modèle doit changer de représentation. La capacité totale annoncée permet d’étudier une solution ; elle ne dit pas à quelle vitesse cette solution répondra.
Sur quatre cartes AMD, une répartition parfaitement équilibrée des seuls poids donnerait 75 Go par carte. C’est un calcul idéal, pas une promesse de placement. Certaines structures du modèle se répartissent mal, des données peuvent être répliquées et les allocations n’ont pas toutes la même taille.
Il faut ensuite ajouter le KV cache Mémoire des vecteurs clé et valeur déjà calculés pour chaque token traité par un LLM. Évite de recalculer l'attention sur tout l'historique, au prix d'une consommation mémoire qui croît avec le contexte.
Approfondir dans le glossaire
, la mémoire des clés et valeurs que l’attention conserve pour réutiliser l’historique. Pour illustrer son poids, supposons une architecture à attention complète avec 80 couches, 8 têtes de cache par couche, une dimension de tête de 128 et des valeurs sur 2 octets. À 32 768 tokens, une séquence représente 2 × 80 × 8 × 128 × 32 768 × 2 octets, soit environ 10,7 Go. Quatre séquences distinctes sans partage de préfixe atteignent 42,9 Go.
Ces hypothèses ne décrivent aucun modèle précis. Elles montrent pourquoi réserver toute la mémoire aux poids laisse une application sans marge pour son contexte. Une architecture à attention locale, un cache compressé ou des préfixes partagés modifieraient le calcul. Le dossier consacré au cache KV permet d’adapter le budget à un modèle réel.
Faire porter le comparatif sur votre travail
Pour départager les stations, il faut demander le même checkpoint, la même quantification, le même contexte et les mêmes sorties attendues. Une première mesure devrait porter sur une demande seule : temps avant la première réponse, puis vitesse de génération. Une deuxième devrait augmenter les demandes simultanées pour représenter l’équipe qui utilisera la station.
Il faut conserver les erreurs, les demandes qui dépassent le délai acceptable et la consommation mémoire maximale. Un moteur qui affiche un bon débit global mais laisse certains utilisateurs attendre trop longtemps ne répond pas au même contrat qu’un moteur plus régulier. La consommation à la prise doit être mesurée pendant cette même charge ; additionner des puissances de composants ne remplace pas l’essai.
Le prix doit correspondre à une configuration complète et à son support. Les sources examinées ne donnent pas un devis comparable et définitif pour les deux machines. En déduire aujourd’hui un coût par token ou une durée d’amortissement introduirait des hypothèses trop importantes pour un conseil d’achat.
Choisir une architecture que votre moteur sait utiliser
Si votre modèle tient déjà sur une carte, commencez par établir ce que vous cherchez à améliorer : une conversation plus rapide ou davantage de conversations simultanées. Si les poids dépassent la mémoire d’une carte, demandez un essai de placement et de génération avant de retenir un total de capacité.
Halo Station mérite l’attention pour sa mémoire GPU répartie entre plusieurs accélérateurs. DGX Station propose une autre organisation autour d’un GPU et de la mémoire cohérente de son CPU. Le choix raisonnable se fera sur le modèle, le moteur et la latence que votre travail accepte. À ce stade, les fiches permettent de préparer cet essai, pas de déclarer un vainqueur.
Sources et méthode
Caractéristiques annoncées. AMD, Threadripper Halo Station, notamment la note de configuration HALO-02 ; fiche MI350P et brochure produit. NVIDIA, DGX Station GB300 et datasheet. Consultation le 10 septembre 2026. Il s’agit de sources constructeur, pas de mesures indépendantes. La configuration AMD maximale ne doit pas être assimilée à chaque prototype exposé ; la fiche d’une carte serveur ne définit pas à elle seule le refroidissement de la station.
Mécanismes vérifiés. NVIDIA, considérations de placement mémoire Grace Hopper/Blackwell ; AMD, API HIP d’accès mémoire entre pairs. Ces documents expliquent les possibilités d’accès, sans valider une recette d’inférence sur Halo Station.
Calculs et limites. Le budget des poids et celui du cache sont des hypothèses pédagogiques explicites, en unités décimales : 1 Go = un milliard d’octets. Le cache suppose des clés et valeurs stockées séparément à chaque couche, sans compression ni partage entre séquences. Les marges, la répartition et les performances restent à mesurer. Aucun gain d’inférence, prix ou benchmark matériel LeCompute n’est revendiqué.
