Foundry : vers une offre OpenAI sur ressources dédiées

Des ressources dédiées pour exécuter les modèles d’OpenAI ? C’est le principe de l’offre Foundry, annoncée auprès d’un cercle restreint d’utilisateurs.

En l’état, Foundry donne accès à trois modèles de traitement et de production de langage naturel. Le plus puissant semble être une version « boostée » de Davinci, peut-être fondée sur GPT-4. Son historique peut contenir 32 000 tokens (« morceaux de mots » équivalant à environ 4 caractères). Soit huit fois plus que pour davinci-text-003, l’actuelle référence au catalogue public d’OpenAI.

Foundry ne permet pas encore de personnaliser les modèles proposés. Le contrôle des versions, en revanche, est activé. Un SLA à retenir : 99,5 % de disponibilité pour toutes les instances, avec un support technique par téléphone.

La tarification se fonde sur des unités de compute. Elle suppose un engagement de trois mois minimum.

On l’aura constaté : la facture pourra dépasser le million de dollars par an pour le plus puissant des modèles. Mais avec, donc, des ressources dédiées qu’on pourra probablement exploiter sans limites de requêtes.

À titre comparatif, l’exécution des modèles Davinci de base par l’intermédiaire de l’API OpenAI (endpoint /completions) revient à 0,02 $ par tranche de 1000 tokens. C’est le même prix dans le cadre de l’offre Azure OpenAI Service, avec laquelle Microsoft apporte des garanties supplémentaires en matière d’options d’hébergement, de chiffrement ou encore de gestion des identités.

La version payante de ChatGPT est quant à elle facturée 24 $ TTC par mois.

Illustration principale générée par IA