Choisir le bon GPU pour l'IA et le machine learning

Les fabricants de puces produisent des GPU en continu. Pour décider quel GPU convient le mieux à leur organisation, les entreprises et leurs développeurs doivent prendre en compte les coûts d'achat ou de location de ce dernier, afin de prendre en charge le type de workload à traiter.

De plus, dans le cadre d'un déploiement sur site, ils doivent avoir conscience des coûts associés à la gestion du data center.

Pour prendre la bonne décision, les entreprises doivent d'abord déterminer les tâches que leurs GPU devront accomplir. Par exemple, le streaming vidéo, l'IA générative et les simulations complexes constituent tous des cas d'usage différents, et le choix d'un modèle et d'une taille de GPU spécifiques permettra de répondre au mieux à chacun d'entre eux.

Les spécifications hardwares des GPU

Il est important de noter que chaque GPU possède des spécifications hardwares uniques qui déterminent son aptitude à effectuer des tâches spécialisées.

Les facteurs à prendre en compte sont :

Coeurs CUDA

Il s'agit de types spécifiques de processeurs conçus pour fonctionner avec le modèle de programmation CUDA de Nvidia. Les coeurs CUDA jouent un rôle fondamental dans le traitement parallèle et accélèrent diverses tâches informatiques axées sur le rendu graphique.

Ils utilisent souvent une architecture SIMD (single instruction, multiple data) de sorte qu'une seule instruction s'exécute simultanément sur plusieurs éléments de données, ce qui permet d'obtenir un débit élevé dans le cadre du calcul parallèle.

Les coeurs Tensor

Ces composants matériels effectuent des calculs matriciels et des opérations impliquées dans le machine learning et les réseaux neuronaux profonds. Leur précision dans les résultats des workloads machine learning est directement proportionnelle au nombre de coeurs Tensor d'un GPU.

Parmi les nombreuses options proposées par Nvidia, le H100 fournit le plus grand nombre de coeurs de tenseur (640), suivi par les Nvidia L40S, A100, A40 et A16 avec respectivement 568, 432, 336 et 40 coeurs de tenseur.

Mémoire maximale du GPU 

Outre les coeurs de tenseur, la mémoire maximale du GPU de chaque modèle influe sur l'efficacité de l'exécution des différentes charges de travail. Certaines charges de travail peuvent fonctionner sans problème avec moins de coeurs de tenseur, mais peuvent nécessiter plus de mémoire GPU pour accomplir leurs tâches.

Les Nvidia A100 et H100 disposent tous deux de 80 Go de RAM sur une seule unité. Les A40 et L40S ont 48 Go de RAM et l'A16 a 16 Go de RAM sur une seule unité.

Tflops (également connu sous le nom de téraflops) 

Cette mesure quantifie la performance d'un système en opérations à virgule flottante par seconde. Il s'agit d'opérations en virgule flottante qui contiennent des calculs mathématiques utilisant des nombres avec des points décimaux. Il s'agit d'un indicateur utile pour comparer les capacités de différents composants matériels. Les applications informatiques à haute performance, telles que les simulations, s'appuient fortement sur les Tflops.

Alimentation maximale 

Ce facteur s'applique lorsque l'on considère les GPU sur site et leur infrastructure associée. Un centre de données doit gérer correctement son alimentation électrique pour que le GPU fonctionne comme prévu. Les Nvidia A 100, H100, L40S et A40 nécessitent 300 à 350 watts et le A16 250 watts.

Profilage des modèles de GPU NVIDIA 

Chaque modèle de GPU a été conçu pour répondre à des cas d'usages spécifiques. Bien que la liste ne soit pas exhaustive, les informations ci-dessous présentent une vue d'ensemble des GPU Nvidia et des tâches qui tirent le mieux parti de leurs performances.

Nvidia GH200

La super-puce Grace Hopper GH200 de Nvidia associe les architectures Grace et Hopper de Nvidia en utilisant le NVLink-C2C de Nvidia. La GH200 présente un design CPU+GPU, unique à ce modèle, pour l'IA à grande échelle et le calcul haute performance.

La puce GH200 Superchip accélère le calcul et l'IA générative grâce à la mémoire GPU HBM3 et HBM3e. La nouvelle interface cohérente de 900 gigaoctets par seconde (Go/s) est 7 fois plus rapide que PCIe Gen5.

Calcul haute performance : Le H100 est bien adapté à l'entraînement de modèles de langage à des trillions de paramètres, accélérant les grands modèles de langage jusqu'à 30 fois plus que les générations précédentes grâce à l'architecture Hopper de Nvidia.

Recherche médicale : Le H100 est également utile pour le séquençage du génome et les simulations de protéines en utilisant ses capacités de traitement des instructions DPX et d'autres tâches.

Nvidia A100

Deep learning : La puissance de calcul élevée de l'A100 se prête à la formation et à l'inférence de modèles deep learning. L'A100 donne également de bons résultats dans des tâches telles que la reconnaissance d'images, le traitement du langage naturel et les applications de conduite autonome.

Simulations scientifiques : L'A100 peut exécuter des simulations scientifiques complexes, y compris les prévisions météorologiques et la modélisation du climat, ainsi que la physique et la chimie.

Recherche médicale : L'A 100 accélère les tâches liées à l'imagerie médicale, permettant des diagnostics plus précis et plus rapides. Ce GPU peut également contribuer à la modélisation moléculaire pour la découverte de médicaments.

Nvidia L40S

IA générative : Le L40S prend en charge le développement d'applications d'IA générative grâce à l'accélération de bout en bout de l'inférence, de l'entraînement au graphisme 3D et d'autres tâches. Ce modèle est également adapté au déploiement et à la mise à l'échelle de plusieurs workloads.

Nvidia A40

Analyse alimentée par l'IA : L'A40 fournit les performances nécessaires à une prise de décision rapide, ainsi que l'IA et le machine learning pour les charges de données importantes.

Virtualisation et cloud computing : L'A40 permet un partage rapide des ressources, ce qui rend ce modèle idéal pour des tâches telles que l'infrastructure de bureau virtuel (VDI), le gaming-as-a-service et le rendu basé sur le cloud.

Graphisme professionnel : L'A40 peut également prendre en charge des applications graphiques professionnelles telles que la modélisation 3D et la conception assistée par ordinateur (CAO). Il permet un traitement rapide des images haute résolution et un rendu en temps réel.

Nvidia A16

Streaming multimédia : La réactivité et la faible latence de l'A16 permettent une interactivité en temps réel et une diffusion multimédia en continu afin d'offrir une expérience de jeu fluide et immersive.

Virtualisation de l'environnement de travail : L'A16 est également conçue pour exécuter des applications virtuelles (vApps) qui maximisent la productivité et les performances par rapport aux configurations traditionnelles, améliorant ainsi la mise en oeuvre du travail à distance.

Bureaux et postes de travail virtuels à distance : L'A16 fonctionne rapidement et efficacement, permettant le déploiement d'un bureau virtuel ou d'une station de travail graphique haut de gamme basée sur Linux ou Windows.

Encodage vidéo : L'A16 accélère les tâches d'encodage vidéo gourmandes en ressources, telles que la conversion d'une variété de formats vidéo allant des fichiers .mp4 aux fichiers .mov.

Avec l'arrivée de nouveaux GPU plus puissants, les entreprises seront contraintes d'optimiser leurs ressources GPU. S'il existe des scénarios dans lesquels les déploiements de GPU sur site sont judicieux, il y aura beaucoup plus de situations dans lesquelles la collaboration avec un fournisseur d'infrastructure cloud offrant un accès à une gamme de GPU permettra d'obtenir un meilleur retour sur investissement.

Kevin Cochrane, Chief marketing officer - Vultr.