Performance d’un PC en IA, c’est quoi des TOPS et des tokens ?

Nvidia continue d’apporter de précieuses informations dans le domaine de l’IA. Les dernières en date concernent la mesure des performances dans ce domaine avec des nouveaux termes qui peuvent être difficiles à comprendre.

Vous avez probablement déjà entendu parlé de « TOPS » et de « tokens » et plus rarement de « batch size » . Qu’est-ce qui se cache dernière tout ce petit monde ? Dans le rendez-vous  IA Decodée de cette semaine, Nvidia aborde ces termes à la mode tout en mettant ses solutions graphiques en avant.

Le géant explique

Performance TOPS : Un TOPS plus élevé signifie un traitement plus rapide de l’IA. Avec des GPU comme le GeForce RTX 4090 offrant plus de 1300 TOPS, vous excellerez dans la création de contenu numérique et les jeux.

Tokens (jetons) : Découvrez comment les tokens et la taille des batchs (lots) boostent les performances de l’IA. Nos GPU RTX, avec leur vaste mémoire et leurs Tensor Cores, gèrent ces demandes de manière transparente.

Génération rapide d’images : Les GPU RTX accélèrent les modèles d’IA populaires tels que Stable Diffusion, rendant la création de texte à image et de vidéo jusqu’à 70% plus rapide.

L’accélération TensorRT sera bientôt disponible pour Stable Diffusion 3 – le nouveau modèle texte-image très attendu de Stability AI – augmentant les performances de 50%.

Preuve dans le monde réel : Les tests de Jan.ai montrent que notre TensorRT-LLM est jusqu’à 70% plus rapide que les méthodes traditionnelles, soulignant l’efficacité de l’IA alimentée par RTX.

TOPS of the Class: Decoding AI Performance on RTX AI PCs and Workstations

Enfin si vous souhaitez savoir si votre PC est compatible avec l’IA locale, vous pouvez faire des tests en suivant notre guide : Votre PC est-il compatible avec l’IA locale ? Voici le test Devicetest.ai