Crédit Mutuel : « non, l'IA Watson n'est pas magique »
Publié par La rédaction le | Mis à jour le
L'IA une solution qu'il suffit de brancher ? L'expérience du Crédit Mutuel, qui a essuyé les plâtres avec IBM Watson, montre qu'on en est très, très loin. Ses chefs de projet témoignent de la complexité de ce type d'implémentation.
De nombreux dirigeants d'entreprise voient l'IA comme une solution un peu magique : un logiciel qu'il suffit d'installer pour qu'il identifie seul la façon de résoudre un problème. Ecouter Sébastien Bertrand et Laurent Prud'hon pendant quelques dizaines de minutes suffit pour balayer ces espoirs irréalistes. Respectivement chef de projet métier en solutions cognitives au Crédit Mutuel CIC et chef de projet informatique sur le même sujet au sein du GIE informatique de la banque, Euro Information, les deux experts ont suivi de près les premiers pas, puis l'implémentation au sein de l'établissement de la technologie Watson d'IBM. Une démarche qui vient d'aboutir à la décision de généraliser la technologie pour 20 000 chargés de clientèle de la banque.
Il y a environ 18 mois, IBM se lance et décide d'apprendre le français à Watson. Le Crédit Mutuel, pour qui Big Blue est un partenaire de longue date, s'associe à cette mise au point. Sur cette base, une étude initiale est lancée au quatrième trimestre 2015. « Nous nous sommes concentrés sur les services que nous pouvions amener aux conseillers, raconte Laurent Prud'hon. Or ceux-ci rencontraient deux difficultés principales au quotidien : l'augmentation du volume des e-mails de clients et leur difficulté à accéder aux informations pertinentes dans notre base documentaire. » Riche de 52 000 documents, celle-ci n'est alors accessible que via une recherche par mots clefs.
« Se lancer, une forme de pari »
Ce sont donc sur ces deux scénarios que décident de se concentrer les équipes en charge des tests de la solution cognitive d'IBM. En assumant une part de risques. « Au-delà des capacités techniques de l'outil, il faut aussi se faire une idée de la rentabilité du projet. Or celle-ci dépend de la capacité à répondre à un fort pourcentage de questions sur un faible nombre de demandes », explique Sébastien Bertrand. Pour ce dernier, si les demandes sont trop éparpillées, le projet devient tout bonnement « infaisable ». C'est ce regroupement que les équipes du Crédit Mutuel se sont efforcées d'estimer. « Mais ce n'est qu'une fois dans le projet, quand on travaille sur de gros volumes de données, qu'on pourra vérifier si ces estimations sont justes. Se lancer, c'est donc une forme de pari », reprend le chef de projet métier en solutions cognitives.
Second passage critique dans tout projet basé sur les technologies cognitives : l'entraînement initial, au cours duquel la solution est censée apprendre à résoudre un problème à partir d'exemples. Dans le cas du traitement des e-mails, c'est un échantillon de 10 000 courriels anonymisés qui a servi à nourrir Watson. Mais des e-mails traités en amont par trois experts métiers chargés d'identifier les demandes récurrentes. « La lanque française est si riche qu'il faut discerner les intentions des clients avant d'injecter les données dans Watson », dit Laurent Prud'hon. Autrement dit, ce sont les enrichissements apportés par les experts qui permettent à la solution cognitive de commencer à s'attaquer au problème.
Trier les mails avec Watson : un travail de fourmis
Même ainsi, le sujet reste des plus complexes. Car le traitement automatique des mails, à partir des textes libres écrits par les correspondants, est un problème ouvert, où les demandes des clients du Crédit Mutuel sont noyées. « Pour identifier les demandes, on se base sur une description des motifs de langage se référant à une intention. Et il faut décrire un par un tous les concepts », précise le chef de projet. Soit aujourd'hui environ 1 000 concepts et 4 000 règles correspondant à des motifs de langage. Un travail de fourmis qui permet aujourd'hui d'arriver à entre 60 et 65 % de reconnaissance sur les intentions sur lesquelles Watson est entraîné. « Nous avons démarré à environ 40 % mi-2016 et nous espérons parvenir à 80 % de reconnaissance », ajoute Sébastien Bertrand. Notamment en collectant les retours des clients finaux sur la façon dont leurs intentions ont été comprises.
« Pas des bugs que l'on peut corriger »
Aujourd'hui, sur les 120 000 mails reçus par jour, 90 000 sont analysés ; 50 % d'entre eux correspondant à des demandes de clients. « Sur ce sous-ensemble, nous identifions 33 intentions, soit 70 % des demandes », reprend le chef de projet. Mais améliorer le taux de détection est, en soi, un défi. « Nous effectuons un travail de classification dans ces 33 'boîtes', mais dont les frontières sont un peu floues, note Laurent Prud'hon. Quand nous améliorons la détection dans une boîte, nous détériorons le niveau de reconnaissance de celle d'à côté. On est constamment à la recherche d'un équilibre entre le taux de détection et le taux de faux positifs. » Un équilibre instable qu'il faut entretenir. « On se retrouve face à des subtilités liées au contexte d'une phrase, subtilités inhérentes au langage naturel, dit encore l'expert. Ce facteur fait partie des éléments difficiles à expliquer aux utilisateurs, car nous ne sommes pas ici face à des bugs qu'on peut corriger ! »
Sur cette application, la détection d'une demande par Watson permet de faciliter la vie des conseillers, la solution mise en oeuvre leur fournissant un lien direct pour traiter la demande et des modèles de réponses personnalisables. « Nous souhaitons maintenir notre réseau d'agences et conserver le conseiller au coeur de la relation avec le client », précise Sébastien Bertrand, dans une volonté d'écarter tout débat sur les possibles impacts de Watson sur l'emploi. D'après le Crédit Mutuel, les retours des utilisateurs sur cette application cognitive sont aujourd'hui très positifs.
Relier questions et intentions
La seconde application sur laquelle a travaillée la banque vise à fournir aux conseillers des assistants spécialisés, leur permettant de recommander aux clients des produits financiers ou d'assurance. Une fonction mal couverte par la base documentaire du Crédit Mutuel, que les conseillers peinent à réellement exploiter. « Dans ce cas, nous sommes repartis des questions que se posent les chargés de clientèle. Un challenge en soi », dit Laurent Prud'hon. Récupérer cette liste de 5 000 à 6 000 questions pour chaque domaine (assurance auto et habitation, épargne, mutuelle santé.), dans le langage des chargés de clientèle, très différent de celui des experts de ces domaines, représente déjà plusieurs mois de travail. S'y greffe un travail d'annotation et de classification, soit encore trois mois de travail avec des experts métiers. Ces questions sont ensuite associées de nouveau à des intentions, entre 100 et 150 par domaine. « Ici, l'apprentissage automatique fonctionne extrêmement bien, avec un nombre limité de question. Moins de 100 par intention suffisent, remarque Laurent Prud'hon. Mais la valeur ajoutée de Watson s'arrête là. Derrière, il y a un savoir-faire dans la définition de l'intention. »
Ainsi qu'un gros paramétrage manuel. Récupérer les paramètres d'une question ou d'une série de questions posées à la suite les unes des autres s'effectue de façon explicite au travers un dictionnaire de valeurs. « Dans une première phase, ce sont les experts métiers qui conçoivent un arbre de décision, codé à la main. Si tous les paramètres ne sont pas présents, l'assistant va générer une nouvelle question pour que le conseiller précise sa demande. » Sur chacun des deux assistants déjà développés, cela se traduit par un arbre de décision renfermant un peu plus de 2 000 branches de dialogue. Soit des fichiers de 50 000 lignes environ.
Le cognitif ? Un petit pourcentage du projet
La complexité du projet ne s'arrête pas là, puisque, pour justifier l'investissement qu'ils représentent, les bots doivent aussi - et même avant tout - fournir une réponse pratique aux questions des conseillers, et décharger les plates-formes de support regroupant les experts du groupe. « Chaque assistant fournit un peu plus de 1 000 réponses en mode paramétré (qui cohabite avec la recherche, toujours présente, NDLR) », explique le chef de projet informatique. Ce qui suppose la mise au point d'un système d'extraction des réponses à partir du référentiel documentaire et une gestion des synchronisations entre les deux systèmes entre les intentions et cette base de données de référence. « Chez nous, c'est une des parties les plus complexes, la synchronisation constitue un réel défi, dit Laurent Prud'hon. En parallèle, nous avons aussi dû mener un gros travail d'amélioration de la base documentaire. Pour l'assistant sur l'épargne, plus de 400 documents ont dû être repris. C'est déjà un projet en soi. »
Cette succession de tâches permettant l'implémentation effective des solutions cognitives Watson illustre bien le décalage qui peut exister entre les idées toutes faites sur l'IA et la réalité du terrain. « Dans le projet d'ensemble, la partie cognitive représente un petit pourcentage des tâches à mener à bien. Même si c'est cette technologie qui débloque le scénario d'ensemble », analyse Sébastien Bertrand. Pour les deux chefs de projet de Crédit Mutuel, implémenter réellement une solution cognitive permet de mesurer concrètement le décalage entre les discours anxiogènes qui circulent sur l'IA et la réalité actuelle de la technologie. « Ceux qui pensent que l'IA va remplacer une grande partie des salariés n'ont pas pris conscience des limitations de cette technologie. On est face à un outil supplémentaire, pas à la révolution annoncée ici ou là », martèle Laurent Prud'hon.
« Prise en main en 5 minutes »
Aujourd'hui, au sein de l'établissement, les solutions cognitives déjà développées sont en passe d'être généralisées à l'ensemble des 20 000 chargés de clientèle. La solution de traitement des e-mails est ainsi déployée sur la moitié des volumes de courriels reçus chaque jour. Elle sera étendue à l'ensemble des mails en juin. Le bot spécialisé dans l'assurance (automobile et habitation) est en passe d'être installé chez tous les conseillers de la vingtaine de fédérations que compte le groupe. L'assistant sur l'épargne sera, lui, déployé à partir de juin prochain. « L'outil se prend en main en 5 minutes, assure Sébastien Bertrand. L'accompagnement au changement se situe plus dans l'animation, dans des rappels, afin d'accroître l'utilisation de ces outils. » Passé cette première phase, le Crédit Mutuel envisage de développer d'autres assistants pour la santé, la prévoyance ou le crédit à la consommation.
Preuve que, malgré les obstacles, la technologie semble avoir un intérêt. « Si on fait gagner 5 minutes par jour à 20 000 chargés de clientèle sur le traitement des mails, on va rapidement rantabiliser l'investissement », assure Laurent Prud'hon. Sébastien Bertrand mise, lui, avant tout sur l'amélioration des relations avec les clients. « Dans moins d'un cas sur deux, les chargés de clientèles parviennent à trouver une information dans la base documentaire avec le moteur de recherche. Et cette réponse ne correspond pas, dans bien des cas, aux attentes des clients. Si on fait progresser ce ratio avec Watson - ce que nos premiers benchmarks confirment -, on va améliorer la pertinence de la réponse et la réactivité de nos services aux demandes de nos clients ».
Entraîneur d'algorithmes : un nouveau métier
En parallèle, Crédit Mutuel espère réduire la durée de mise au point de ses futurs assistants. Pour les premiers bots, la phase d'étude et de pilote a duré environ 10 mois. Et le projet a mobilisé 10 à 15 personnes côté IT et autant issues des métiers. Même si ces effectifs ne travaillaient pas à temps plein sur le projet. « Pour aller plus vite, il nous faut une méthodologie industrielle. Concevoir un chatbot de livraison de pizza est très différent de la réalisation d'un assistant reposant sur un arbre de décision de quelque 2 000 branches. Avec cette configuration, toute erreur coûte cher. Nous avons essuyé les plâtres en 2016, mais nous allons désormais nous y prendre différemment », détaille Laurent Prud'hon. Qui déplore notamment l'absence d'outillage pour la conception des assistants virtuels sur base Watson, par exemple pour réaliser des statistiques de fonctionnement, annoter les questions ou extraire les réponses. Crédit Mutuel a donc développé certains outils en interne et tente aujourd'hui de les mutualiser avec d'autres entreprises travaillant sur la technologie.
Au-delà de la construction des solutions en elles-mêmes, implémenter Watson suppose aussi de prévoir sa maintenance. Car, pour que les algorithmes de Machine Learning de la technologie d'IBM restent efficaces sur la durée, ils doivent être ré-entraînés en continu sur de nouvelles données. « C'est presque un nouveau métier qui naît, dit Sébastien Bertrand. Nous avons besoin d'employés ayant une vision transverse des questions posées pour assurer cet entraînement continu. » Pour l'assistant spécialisé dans l'assurance, ces profils sont issus du support de niveau 1, la structure recevant les questions des conseillers clientèle sur ce sujet. Preuve que l'IA n'est pas uniquement vouée à détruire de l'emploi.
A lire aussi :
IA : comment IBM Watson aide les conseillers clientèle du Crédit Mutuel
Nicolas Sekkaki, IBM : « Watson entraîne toute notre activité »
IA : on ne joue plus. ou alors à se faire peur