L’offre GenAI d’Oracle en cinq points

Une seule famille de modèles ? Une vectorisation limitée à l’anglais ? Pas d’intégration LangChain ? Effectivement, si on se réfère à la documentation d’OCI Generative AI.

Sauf que cette doc – comme les notes de version – n’est pas à jour. Elle présente la bêta du service… dont Oracle vient en fait d’annoncer la disponibilité générale.

Quels modèles sont disponibles ?

Exclusivement des modèles traitant et produisant du texte.

D’un côté, un modèle made in Meta : Llama 2 en version 70B.
De l’autre, des modèles signés Cohere. Deux de la famille Command (version XL à 52B et Light à 6B ; 4k de contexte pour chacun) et deux spécifiques à la vectorisation (Embed v3 et sa déclinaison légère, chacun proposé en version multilingue ou anglais uniquement).

Que peut-on faire avec ces modèles ?

OCI Generative AI permet de consommer ces modèles de fondation « à la demande » (console, CLI, SDK, API et intégration LangChain), en mode cloud public. La facturation se fait au caractère traité. Oracle communique les prix par lot de 10 000 transactions.

– Command XL : 0,020367 €
– Llama 2 : 0,01395 €
– Command Light : 0,00372 €
– Cohere Embed : 0,00093 €

On peut aussi personnaliser ces modèles, puis les exploiter en inférence. Cela se fait sur des ressources GPU dédiées facturées à l’heure. Un cluster de finetuning ne peut pas être utilisé pour l’hébergement et vice versa. Tarification annoncée :

– Command XL : 22,32 €
– Llama 2 : 11,16 €
– Embed : 10,137 €
– Command Light : 6,045 €

Comment personnaliser les modèles ?

Les données d’entraînement doivent être entreposées dans un bucket OCI, en un seul fichier jsonl.

L’affinage peut se faire avec la méthode T-Few. Cela permet de loger, affirme Oracle, jusqu’à 50 modèles par cluster d’hébergement – à condition qu’ils reposent sur le même modèle de fondation et la même version.

Avec la méthode traditionnelle, c’est un seul modèle par cluster d’hébergement. On peut toutefois lui associer plusieurs adresses IP, en conservant un monitoring spécifique à chaque endpoint.

En l’état, pas d’intégration API directe avec des applications externes. Il faut se rendre dans la console OCI (playground de test) pour exécuter les modèles personnalisés et récupérer le code.

Où le service est-il hébergé ?

Oracle laisse miroiter la possibilité d’héberger le service « dans vos datacenters » à travers les régions dédiées OCI. Pour le moment, aux dernières nouvelles, OCI Generative AI est disponible dans une région cloud : celle de Chicago (US Midwest). Il n’a pas de SLA public.

Et ensuite ?

Oracle va s’appuyer sur ce socle pour fournir des agents. Il en propose un premier, en bêta. Sa fonction : mettre en œuvre la technique du RAG (retrieval-augmented generation). Pour récupérer les informations destinées à contextualiser les prompts, il utilise pour le moment OCI OpenSearch. Il est prévu d’étendre le champ à la recherche vectorielle d’Oracle Database 23c et au magasin de vecteurs de MySQL HeatWave.

OCI Generative AI alimentera aussi Fusion Cloud, NetSuite et des applications sectorielles « tel Oracle Health ». On nous annonce le résumé et l’aide à la composition de texte comme premier use cases.

Illustration principale © jetcityimage – Adobe Stock