Retex - Comment le Crédit Mutuel a internalisé ses IA génératives

Client de longue date d'IBM, le Crédit Mutuel, la banque a initié sa stratégie IA avec l'aide de son partenaire il y a 8 ans. Un centre de compétences totalement dédié à l'intelligence artificielle a été créé, la Cognitive Factory.

Cette structure compte aujourd'hui 150 personnes qui travaillent à implémenter des modèles d'IA sur les différents canaux de la banque. 30 personnes sont aujourd'hui impliquées sur l'IA générative pour identifier les cas d'usage où celle-ci pourrait être pertinente.

A partir de janvier 2023, le management de la banque a été impliqué afin d'harmoniser la stratégie du groupe et cet effort d'adoption des LLM.

600 ETP économisés grâce aux IA

Laurent Prud'hon, responsable de la Cognitive Factory, résume cette démarche progressive vis-à-vis de l'IA. « Au début des années 2000, avec le Machine Learning et le Big Data, on peut laisser la machine écrire un programme pour détecter la fraude ou des opportunités. Ce sont des cas d'usage utiles et très fréquemment déployés dans le secteur bancaire. A partir de 2015, lors de la phase 2, il est devenu possible de donner du sens à des textes, à la voix, à des images et en faire une entrée pour les systèmes IT. »

Pour le Crédit Mutuel, ce déploiement des IA a eu un véritable impact dans les process. En 2023, le déploiement à l'échelle de ces algorithmes a permis de faciliter le traitement de 40 millions d'emails, de 35 millions d'appels téléphoniques, 20 millions de conversations de notre assistant virtuel et de 75 millions de documents envoyés par les clients. Laurent Prud'hon estime que tous ces cas d'usage nous ont permis d'économiser l'équivalent de 600 ETP.

Cette stratégie est aujourd'hui entrée dans une nouvelle phase avec l'IA générative. « Nous savons maintenant générer du texte, de la voix et des images en tant que sortie des systèmes IT. Cela change tout car maintenant le cycle est bouclé. Vous pouvez maintenant décrire une tâche en langage naturel, intégrer des textes et des images et retourner ces contenus en sortie. Cela facilite la création de nouveaux systèmes pour traiter de nouveaux cas d'usage. »

Une IA pensée pour la relation client

Dans un premier temps, l'équipe IA générative réfléchit à comment accroître l'efficacité de nos solutions existantes. « Pour donner un exemple, notre solution d'analyse des emails va être capable de générer des réponses personnalisées qui auront l'air bien plus naturelles car elles tiendront compte du contexte de la conversation. »

D'autres cas d'usage sont beaucoup plus innovants. Ainsi, le Crédit Mutuel veut disposer d'une IA générative afin d'aider les conseillers bancaires lors de leurs entretiens avec les clients. « Nos conseillers organisent des millions d'entretiens chaque année avec nos clients. L'IA générative se montre capable de résumer toutes les interactions précédentes avec le client, en extraire les opportunités. »

En analysant cet historique, l'IA générative va lister les arguments commerciaux pour le conseiller et assister en temps réel ce dernier lors de l'entretien avec une transcription en temps réel de la conversation. Après l'entretien, cette transcription va pouvoir être résumée à son tour et l'IA va en extraire les points de suivi qui permettront ensuite de poursuivre la relation avec le client.

Une plateforme commandée avant le raz de marée ChatGPT

Outre ce travail sur les cas d'usage, la Cognitive Factory a mené une réflexion sur le volet plateforme. Pour conserver un contrôle total de ses algorithmes mais aussi des données de ses clients, la banque a pris la décision d'internaliser totalement son infrastructure IA. Un choix qui détonne à l'ère du Cloud et des API publiques.

Laurent Prud'hon explique cette décision : « Le Crédit Mutuel garantit à ses clients que nous traitons leurs données exclusivement dans nos datacenters et avec notre propre personnel. Il s'agit d'un point clé pour construire la confiance. »

Pour relever ce défi, la banque a dû construire notre propre infrastructure d'IA générative. « Ce fut un challenge, mais nous avons anticipé cette nouvelle vague et nous avons commandé de nouvelles machines dotés de 112 puces NVidia A100 et 32 H100 juste avant que ChatGPT ne fasse la une des journaux et ne rende l'acquisition de ce type d'infrastructure extrêmement difficile aujourd'hui.»

Le responsable estime que disposer et opérer en interne une telle infrastructure est non seulement important pour la sécurité et la confidentialité des données, mais procure plusieurs autres bénéfices. « Cela permet d'éliminer l'effet boîte noire des API et nous expérience nous a montré qu'il est très important de comprendre le fonctionnement interne des modèles pour en tirer profit le meilleur. »

D'autre part, cette maîtrise est un atout dans le secteur bancaire où il est nécessaire de démontrer la conformité des processus aux règles internes et au régulateur, ce qui n'est pas toujours possible lorsqu'on s'appuie sur des services externes estime Laurent Prud'hon.

Enfin, le responsable veut garder le contrôle sur l'évolution de vos modèles sur la durée. « Si un processus entier repose sur un modèle d'IA, mais que votre fournisseur le fait évoluer très régulièrement, cela devient impossible à gérer. Il faut continuellement migrer, valider le processus et c'est pourquoi maîtriser ces modèles est très important. »

Le Crédit Mutuel mise sur le LLM Mistral

Du point de vue architecture logicielle, le Crédit Mutuel s'appuie sur la plateforme Watsonx de son partenaire IBM et dont la particularité est de donner le choix du ou des LLM qui vont être déployés en production. Or le choix du modèle de langage est crucial dans la mise en oeuvre de l'IA générative.

Les différents cas d'usage de l'IA dans le secteur banque/assurance identifiés par les experts du Crédit Mutuel.

Même si le Crédit Mutuel s'est doté d'une puissante plate-forme d'IA, l'objectif pour la banque n'est pas de mener le pré-entraînement d'un LLM, une phase extrêmement consommatrice de ressources de calcul et qui peut demander des semaines de traitements.
« Acheter ou opter pour un LLM Open Source est complexe car vous ne pouvez pas savoir s'il est conforme à l'AI Act européen » ajoute Laurent Prud'hon. « En l'achetant auprès d'IBM, nous avons cette garantie de conformité, ce qui élimine le risque juridique lié à l'usage d'un LLM. »

Le choix de la Cognitive Factory s'est porté sur un modèle au catalogue de watsonx.ai mais conçu par une startup française : mixtral-8x7b-instruct-v01-q de Mistral AI. « Si on parle anglais, on dispose de nombreuses options, mais si on cherche un LLM qui parle français, allemand, italien ou néerlandais, le choix est beaucoup plus restreint. Nous avons été chanceux car la start-up Mistral a livré Mixtral un LLM multilingue juste avant Noël 2023. Pour la première fois, on dispose d'un excellent LLM en Open Source et nous pouvons l'exploiter pour explorer de nouveaux cas d'usage.»

Adapter le LLM aux spécificités de la banque

A partir de cette base, les équipes du Crédit Mutuel ont réalisé un » fine tuning » du LLM pour adapter ses réponses au contexte bien particulier de la banque. « Pour nous, ce fut relativement facile car nous disposions déjà de nombreuses données relatives à nos usages de l'IA depuis 2015. Cette étape est importante car nous avons été capables d'accroître la performance de 10% à 70% d'un LLM Open Source par un Fine Tuning sur nos données. »

La dernière étape du déploiement de l'IA générative au Crédit Mutuel est encore en cours car c'est celle que Laurent Prud'hon juge la plus complexe, « Il s'agit de garder ce modèle sous contrôle, sûr, éthique et conforme. Nous anticipons ce problème et nous avons construit une plateforme pour traiter cette problématique. »

Photo : © Laurent Prud'hon - DR