Fais comme Stanford ? Dans le domaine des IA génératives, Databricks a emboîté le pas à l’université américaine.
Cette dernière a récemment présenté un modèle baptisé Alpaca. Pour le construire, elle s’est appuyée sur un LLM made in Meta. En l’occurrence, un de ceux de la famille LLaMA. Affiné à partir d’un dataset d’environ 50 000 questions-réponses créé pour l’occasion, il a acquis des capacités interactives « à la ChatGPT ».
Autant pour des questions de sûreté que de coût d’exploitation, Stanford a rapidement retiré la démo qu’elle avait mise en ligne. Le dataset, lui, reste disponible, sous licence CC BY NC 4.0 (pas d’usage commercial). Databricks l’a utilisé pour affiner un autre modèle : une version de GPT-J à 6 milliards de paramètres, datée de 2021.
L’entraînement, réalisé avec DeepSpeed ZeRO 3, a été l’affaire d’une demi-heure sur un nœud à 8 GPU A100 40 Go. Au bout, il y a Dolly. Qui, comme Alpaca, peut suivre des instructions.
Databricks a publié le code de Dolly, assorti d’un notebook pour l’exécuter sur sa plate-forme (il faut au minimum un nœud à 8 GPU A100). Pour l’évaluer, il s’est appuyé sur la méthode InstructGPT.
Dolly ne rivalise pas avec des modèles à architectures plus récentes et/ou entraînés sur des corpus plus importants (GPT-J a été formé sur The Pile, un dataset de 400 milliards de tokens). Ce qui est notable à son propos, assure Databricks, c’est sa capacité à suivre des instructions. Même s’il a, lui aussi, des hallucinations, et des problèmes partagés avec bien d’autres modèles comme la temporalité et le raisonnement mathématique.
L’initiative est surtout, pour Databricks, l’occasion d’adresser une pique à OpenAI et consorts. « Sur le long terme, la plupart des utilisateurs de machine learning sont mieux servis par des modèles sur lesquels ils ont la main »…
À consulter pour davantage de contexte :
EleutherAI sera-t-il ce qu’OpenAI n’est plus ?
ChatGPT et les CRM : comment HubSpot fait la jonction
BLOOM : les choses à savoir sur ce « méga-modèle » d’IA au sang français
Photo d’illustration © DEER FLUFFY – Adobe Stock
Microsoft affirme que l'accord européen de 2009 a donné à CrowdStrike les clés du noyau…
Déjà Président du conseil d'administration, l'ex banquier Jean-Pierre Mustier est nommé directeur général d'Atos. Il…
Le Financial Times rapporte qu'OpenAI était en pourparlers avec des concepteurs de semi-conducteurs, dont Broadcom,…
En première ligne pour subir les cyberattaques, les TPE/PME sont aussi les moins bien formées…
La Cour des comptes estime que la Dinum doit construire sa légitimité, autant au vu…
La Cour des comptes pointe les « résultats contrastés » de la Dinum sur son…