La nouvelle génération de GPU « Blackwell » de NVIDIA se démarque de son prédécesseur « Hopper » en termes de performance. Selon de récentes tests, dans certains contextes, les gains sont impressionnants puisqu’ils peuvent dépasser les 200%.
C’est du moins ce que dévoilent les résultats de MLPerf Training v4.1. Ils montrent que la plate-forme HGX B200 Blackwell de NVIDIA atteint jusqu’à 2,2 fois les performances par GPU de son prédécesseur la plateforme HGX H100 Hopper. Ces gains s’expliquent en grande partie avec les avancées de l’architecture Blackwell qui utilise la mémoire HBM3e à large bande passante et la technologie NVLink de cinquième génération pour accélérer les opérations de traitement.
Blackwell Vs Hopper
| Benchmark | Blackwell Per-GPU Uplift vs. Latest H100 Performance |
| LLM LoRA Fine-Tuning | 2.2x |
| LLM Pre-Training | 2.0x |
| Graph Neural Network | 2.0x |
| Text-to-Image | 1.7x |
| Recommender | 1.6x |
| Object Detection | 1.6x |
| Natural Language Processing | 1.4x |
Ces améliorations ont permis de doubler les performances dans des tâches d’entraînement de grands modèles de langage (LLM) comme le pré-entraînement de GPT-3. Il est également observé une augmentation d’un facteur 2,2 lors de réglage fin de Llama 2 70B par rapport à la génération Hopper.
Tout ceci combiné permet à NVIDIA d’accomplir des benchmarks nécessitant auparavant 256 GPU Hopper avec seulement 64 GPU Blackwell.
Nvidia travaille actuellement sur le GB200 NVL72, une version encore plus puissante. Cette future plate-forme pourrait offrir des gains supplémentaires grâce à des améliorations de la bande passante mémoire et une intégration étroite avec les processeurs NVIDIA Grace, soutenues par des technologies de commutation avancées comme le ConnectX-8 SuperNIC et le Quantum-X800.
ils ne donnent pas le coefficient multiplicateur de l’énergie consommée en plus sur cette nouvelle génération par rapport aux HGX H100?