IBM a dévoilé une technique permettant de réduire drastiquement le temps nécessaire pour former des systèmes distribués de deep learning (apprentissage en profondeur) à travers plusieurs nœuds de serveurs. Ce procédé, baptisé DDL (Distributed Deep Learning) optimise le transfert de données entre les composants matériels qui exécutent le réseau neuronal.
In fine, Big Blue tente de résoudre le problème des goulets d’étranglement liés à la distribution du réseau neuronal sur plusieurs clusters. Si la charge est répartie, les traitements deviennent moins efficaces en raison des latences trop élévées entre les équipements réalisant le calcul en temps réel.
La firme américaine a donc conçu une bibliothèque de communication, DDL pour sa plateforme d’intelligence artificielle Power AI. L’objectif de cette librairie est que chaque équipement dispose des connexions hautes performances disponibles. IBM a pu ainsi entraîner un réseau neuronal connu : Resnet-50 avec un jeu de données ImageNet (soit 7,5 millions d’images assignées à 22 000 catégories). Côté matériel, IBM s’est servi de 64 serveurs Power8 S822LC avec 4 GPU Nvidia Tesla P100-SXM2 chacun. Un investissement conséquent.
Et les résultats sont au rendez-vous, IBM annonce que le modèle de deep learning utilisé dans sa démonstration a reconnu 33,8% des images après 7 heures d’entraînement. Le précédent record était détenu par Microsoft dont la solution atteignait 29,8% d’objets reconnus après 10 jours d’entraînement. Un autre test a été réalisé toujours avec Resnet-50 en se comparant à la solution d’optimisation de la formation des réseaux neuronaux de Facebook. IBM revendique de meilleures performances pour former l’IA. De son côté, Facebook peut se targuer d’avoir une solution Open Source où la communauté peut apporter sa pierre à l’édifice. Big Blue lie DDL à l’environnement Power, mais fonctionne avec différents projets Open Source comme TensorFlow, Caffe, Chainer, Torch et Theano.
A lire aussi :
Watson : un gouffre financier pour IBM ?
IBM recycle ses mainframes en machines à tout chiffrer
La Cour des comptes appelle à formaliser et à professionnaliser certains aspects du RIE, tout…
La Cour des comptes attire l'attention sur le risque d'affaiblissement d'Etalab, privé, ces dernières années,…
Missions historiques de la Dinum, l'ouverture des données publiques et la promotion des logiciels libres…
Pour développer une version 7B de son modèle Codestral, Mistral AI n'a pas utilisé de…
L’Autorité de la concurrence et des marchés (CMA) britannique ouvre une enquête sur les conditions…
Thomas Gourand est nommé Directeur Général pour la France. Il est chargé du développement de…