À chacun son (Chat)GPT : comment OpenAI pousse la personnalisation de ses modèles

(Chat)GPT, mieux adapté à chacun ? La promesse n'est pas nouvelle chez OpenAI. Mais les moyens pour y arriver se multiplient. La conférence développeurs organisée ce 6 novembre en a donné des illustrations. En voici quelques-unes.

L'API Assistants

Actuellement en bêta, cette API constitue une « première étape vers des expériences de type agent », pour reprendre les termes d'OpenAI. Elle permet, en l'occurrnece, de développer des IA qui peuvent :

- Suivre des instructions spécifiques
- Exploiter des connaissances supplémentaires (au-delà de celles des modèles GPT sous-jacents)
- Faire appel à des outils

Ces outils peuvent être externes (appel de fonctions) ou made in OpenAI. Dans cette dernière catégorie, il y a pour le moment un interpréteur de code Python et un module de récupération de données (sans nécessité de les avoir vectorisées au préalable).

L'API étant stateful, les threads persistent, ce qui permet de s'affranchir des limites de la fenêtre de contexte.

Tous les modèles qu'OpenAI prend actuellement en charge sont compatibles, à l'exception de gpt-3.5-turbo. Le module de récupération de données exige gpt-3.5-turbo-1106 ou gpt-4-1106-preview.

La parallélisation des appels de fonctions

Les modèles gpt-3.5-turbo-1106 et gpt-4-1106-preview ont une autre caractéristique spécifique. Ils peuvent désormais appeler plusieurs fonctions en un seul message.

Cela se passe au  niveau de l'API Chat Completions, avec le paramètre optionnel functions. Celui-ci permet aux modèles de générer des arguments (l'API n'exécute pas elle-même les appels).

Spécialiser et réentraîner GPT-4

OpenAI vient d'ouvrir un accès expérimental à un service permettant d'affiner GPT-4. Sont prioritaires les développeurs qui pratiquent déjà cette tâche sur GPT-3.5.
D'après les premiers tests, le finetuning nécessite plus d'efforts sur GPT-4 que sur GPT-3.5 pour améliorer significativement le modèle de base.

Pour aller plus loin dans l'adaptation de ses modèles aux utilisateurs, OpenAI ouvre un programme ciblant les datasets propriétaires qui se comptent en milliards de tokens. On parle là d'un processus pouvant prendre plusieurs mois et coûter « à partir de 2-3 millions de dollars ».

Un VAE pour Stable Diffusion

OpenAI a publié, en source ouverte, un autoencodeur variationnel qui peut se substituer à celui de Stable Diffusion. Le principe est le même : on compresse l'image d'origine dans un espace intermédiaire de dimension plus petite, ce qui force le modèle à capturer une sémantique plus fondamentale.

Cette initiative ne touche pas directement aux modèles (Chat)GPT, mais elle s'inscrit dans la logique de personnalisation.

Vers une (grande) famille de chatbots

En parallèle de l'API Assistants, il devient possible de concevoir des bots sur l'interface ChatGPT. Même principe : spécification des instructions et éventuelle connexion de ressources : soit internes à OpenAI (génération d'images avec DALL-E, recherche web avec Bing, analyse de données), soit externes (« actions », ex-« plug-in »).

Cette fonctionnalité est disponible sur ChatGPT Plus et ChatGPT Enterprise. On peut partager les bots ainsi créés. Un GPT Store doit s'y ajouter ce mois-ci. Dans un deuxième temps, il permettra de monétiser les bots (en fonction du nombre d'utilisateurs).

En attendant, OpenAI met en avant quelques exemples de bots à expérimenter. En particulier, signés Canva (design graphique) et Zapier. Ce dernier propose notamment un assistant gestionnaire de calendrier et un « consultant automatisation ».

Illustration principale © ink drop - Adobe Stock