Dolly : un concurrent de ChatGPT pour l'exemple

Fais comme Stanford ? Dans le domaine des IA génératives, Databricks a emboîté le pas à l'université américaine.

Cette dernière a récemment présenté un modèle baptisé Alpaca. Pour le construire, elle s'est appuyée sur un LLM made in Meta. En l'occurrence, un de ceux de la famille LLaMA. Affiné à partir d'un dataset d'environ 50 000 questions-réponses créé pour l'occasion, il a acquis des capacités interactives « à la ChatGPT ».

Autant pour des questions de sûreté que de coût d'exploitation, Stanford a rapidement retiré la démo qu'elle avait mise en ligne. Le dataset, lui, reste disponible, sous licence CC BY NC 4.0 (pas d'usage commercial). Databricks l'a utilisé pour affiner un autre modèle : une version de GPT-J à 6 milliards de paramètres, datée de 2021.

L'entraînement, réalisé avec DeepSpeed ZeRO 3, a été l'affaire d'une demi-heure sur un noeud à 8 GPU A100 40 Go. Au bout, il y a Dolly. Qui, comme Alpaca, peut suivre des instructions.

Dolly, dans la lignée d'InstructGPT

Databricks a publié le code de Dolly, assorti d'un notebook pour l'exécuter sur sa plate-forme (il faut au minimum un noeud à 8 GPU A100). Pour l'évaluer, il s'est appuyé sur la méthode InstructGPT.

Dolly ne rivalise pas avec des modèles à architectures plus récentes et/ou entraînés sur des corpus plus importants (GPT-J a été formé sur The Pile, un dataset de 400 milliards de tokens). Ce qui est notable à son propos, assure Databricks, c'est sa capacité à suivre des instructions. Même s'il a, lui aussi, des hallucinations, et des problèmes partagés avec bien d'autres modèles comme la temporalité et le raisonnement mathématique.

L'initiative est surtout, pour Databricks, l'occasion d'adresser une pique à OpenAI et consorts. « Sur le long terme, la plupart des utilisateurs de machine learning sont mieux servis par des modèles sur lesquels ils ont la main »...

À consulter pour davantage de contexte :

EleutherAI sera-t-il ce qu'OpenAI n'est plus ?
ChatGPT et les CRM : comment HubSpot fait la jonction
BLOOM : les choses à savoir sur ce « méga-modèle » d'IA au sang français

Photo d'illustration © DEER FLUFFY - Adobe Stock