Deep learning : Microsoft développe sa stratégie avec OpenAI

Quelle stratégie pour entraîner des modèles d’apprentissage profond ?

L’approche traditionnelle consiste à les former pour une tâche précise, à partir de données étiquetées au préalable.

À l’inverse, on peut les faire travailler sur de grands volumes de données non étiquetées. Et les adapter par la suite à la résolution de problèmes spécifiques.

Microsoft explore cette piste dans le cadre de son projet Turing, officialisé l’an dernier.

Ses premiers travaux se sont portés sur le traitement du langage*. L’un des modèles qui en a résulté a récemment été ouvert aux chercheurs : Turing-NLG.

Destiné à la génération naturelle de texte, il a été formé avec la bibliothèque DeepSpeed et le runtime ONNX.

À travers ces deux outils, Microsoft entend favoriser l’entraînement distribué. Ce en parallélisant à la fois les modèles (entraînement sur plusieurs GPU) et les données (découpage en lots fournis à de multiples instances du modèle).

Il entend aussi fournir les ressources de calcul nécessaires, à travers le cloud Azure.
Son partenariat pluriannuel avec OpenAI – annoncé en juillet 2019 avec un investissement d’un milliard de dollars – s’inscrit dans cette logique. Il vise à développer une plate-forme de calcul réservée à l’organisation cofondée par Elon Musk et Sam Altman.

La conférence Build 2020 a été l’occasion de fournir quelques menus détails sur cette plate-forme. Avec 285 000 cœurs CPU et 10 000 GPU, elle se positionnerait, d’après Microsoft, au 5^e rang dans le TOP500 des supercalculateurs.

* Avec, à la clé, des améliorations sur des produits comme Bing (sous-titrage), Word (extraction de passages importants) et Dynamics 365 (suggestion d’actions aux commerciaux).
Microsoft prévoit d’ouvrir d’autres de ces modèles, avec de quoi les entraîner sur Azure Machine Learning.

Photo d’illustration © Natalia Shepeleva – shutterstock.com