AMD dévoile l’accélérateur Instinct MI300X, Nvidia s’incline avec son H100

L’avenir du marché de l’IA est prometteur si bien que le concurrence se renforce. AMD vient de présenter son nouveau accélérateur GPU phare, le MI300X capable de surpasser (dans certaines configurations) de 60% le H100 de Nvidia.

AMD ne cache pas son envie de devenir une référence dans le domaine des puces accélératrice d’IA. Ses nouvelles offres s’accompagnent d’une vitrine, l’Instinct MI300X. Selon ses benchmarks le bilan est positif face à la concurrence en particulier du coté de Nvidia et son H100. Ainsi AMD annonce

• Une capacité de mémoire 2,4 fois plus importante,
• Une Bande passante mémoire 1,6 fois plus élevée,
• Une puissance TFLOPS FP8 et FP16 30% plus élevée,
• Ou encore  un bilan 20 % plus rapide sous Llama 2 70B et FlashAttention 2 (vs 1v1),
• Jusqu’à 40 % de rapidité supplémentaire sous Llama 2 70B pour un serveur 8v8
• Et jusqu’à 60 % de rapidité supplémentaire sous Bloom 176B pour un serveur 8v8

De manière globale, le MI300X est 20% plus véloce que le H100 tandis qu’une plate-forme équipée de 8 unités peut se montrer jusqu’à 60% plus rapide qu’une plateforme équipée de 8 unités H100. AMD précise qu’en termes de performances d’entraînement, le MI300X joue à égalité avec le H100 mais avec un rapport prix/performances compétitif.

L’une des avancées derniers ces nouveaux accélérateurs est l’écosystème logiciel ROCm 6.0. Elle apporte le support de l’IA générative, des grands modèles de langage ou encore des formats de calcul les plus récents comme le FP16, Bf16 et FP8 (y compris Sparsity).

L’Instinct MI300X a été la grande star. Cette puce est conçue au travers de l’architecture CDNA 3 et propose un mélange en 5 nm et 6 nm qui au final affiche un total de 153 milliards de transistors.

L’ensemble affiche 19 456 cœurs (GPU) propulsés à 2100 MHz tandis que la mémoire vidéo (VRAM) grimpe à 192 Go de HBM3 pour un Infinity cache de 256 Mo et un bus mémoire de 8192 bits. La bande passante grimpe à 5,3 To/s.

En termes de consommation d’énergie, le MI300X est évalué avec des besoins de 750 W, soit une augmentation de 50 % par rapport aux 500 W de l’Instinct MI250X.