Deep learning : Microsoft développe sa stratégie avec OpenAI
Publié par Clément Bohic le | Mis à jour le
Microsoft fait de son partenariat avec OpenAI une vitrine pour les travaux qu'il mène dans le domaine de l'apprentissage profond.
Quelle stratégie pour entraîner des modèles d'apprentissage profond ?
L'approche traditionnelle consiste à les former pour une tâche précise, à partir de données étiquetées au préalable.
À l'inverse, on peut les faire travailler sur de grands volumes de données non étiquetées. Et les adapter par la suite à la résolution de problèmes spécifiques.
Microsoft explore cette piste dans le cadre de son projet Turing, officialisé l'an dernier.
Ses premiers travaux se sont portés sur le traitement du langage*. L'un des modèles qui en a résulté a récemment été ouvert aux chercheurs : Turing-NLG.
Destiné à la génération naturelle de texte, il a été formé avec la bibliothèque DeepSpeed et le runtime ONNX.
À travers ces deux outils, Microsoft entend favoriser l'entraînement distribué. Ce en parallélisant à la fois les modèles (entraînement sur plusieurs GPU) et les données (découpage en lots fournis à de multiples instances du modèle).
Il entend aussi fournir les ressources de calcul nécessaires, à travers le cloud Azure.
Son partenariat pluriannuel avec OpenAI - annoncé en juillet 2019 avec un investissement d'un milliard de dollars - s'inscrit dans cette logique. Il vise à développer une plate-forme de calcul réservée à l'organisation cofondée par Elon Musk et Sam Altman.
La conférence Build 2020 a été l'occasion de fournir quelques menus détails sur cette plate-forme. Avec 285 000 cours CPU et 10 000 GPU, elle se positionnerait, d'après Microsoft, au 5e rang dans le TOP500 des supercalculateurs.
* Avec, à la clé, des améliorations sur des produits comme Bing (sous-titrage), Word (extraction de passages importants) et Dynamics 365 (suggestion d'actions aux commerciaux).
Microsoft prévoit d'ouvrir d'autres de ces modèles, avec de quoi les entraîner sur Azure Machine Learning.
Photo d'illustration © Natalia Shepeleva - shutterstock.com