AWS Summit : l'IA générative en phase de cadrage

À quels sujets s’attendre lors d’une session à laquelle on a convié Arthur Mensch, Thomas Wolf et Tom Brown, respectivement cofondateurs de Mistral AI, Hugging Face et Anthropic ?

Tous trois ont pris part à la keynote d’ouverture de l’AWS Summit Paris 2024. Leurs interventions successives ont entrecoupé des témoignages de TF1 et d’Air Liquide axés sur l’IA, y compris générative.

AWS avait lui-même donné le ton. D’une part, en communiquant quelques chiffres sur le rythme d’adoption de l’IA en France et le potentiel associé de création de valeur à l’horizon 2030. De l’autre, en officialisant l’intégration de Mistral Large sur Amazon Bedrock et la disponibilité du service dans la région cloud AWS Paris.

Fabien Mangeant, directeur data et IA d’Air Liquide, ne l’a pas caché : l’IA générative, ce sont des opportunités… mais aussi des risques : biais, hallucinations, opacité des modèles, coûts financiers et énergétiques, etc…Un constat qu’il est loin d’être seul à dresser.

Au sein du CAC 40, Schneider Electric est de ceux qui « apprennent en marchant », d’après son directeur de l’IA Yohann Bersihand.

IA générative : Schneider Electric n’a « pas réponse à tout »

Il y a deux ans, le groupe de distribution électrique a créé une entité centrale dédiée à l’IA qui complète les équipes data.

Réunissant 350 personnes entre France, États-Unis, Inde et Chine, elle gère actuellement quelque 70 cas d’usage. Parmi eux, un « smart BOM » accompagnant les vendeurs, une chaîne de modèles pour gérer les crédits octroyés aux clients et un système de maintenance prédictive.

Schneider Electric a inclus la gestion des risques associés à ces cas d’usage dans un framework interne préexistant. Histoire d’éviter de créer un silo dédié à l’IA. L’explicabilité y est une dimension prééminente. Comme la robustesse, portée par un mix de tests manuels et automatisés (« beaucoup de human in the loop », pour reprendre les propos de Yohann Bersihand).

L’équipe centrale IA établit, pour chaque cas d’usage, une gouvernance en amont. Base : la matrice de risques émanant de l’AI Act. La heatmap qui en résulte est revue chaque mois par le comité opérationnel. Et de manière trimestrielle par un comité exécutif « IA responsable ». Celui-ci comprend le chief data officer, le chief AI officer, les équipes data privacy et juridique ainsi que la cybersécurité.

30 à 40 % des use cases IA de Schneider Electric ont aujourd’hui une dimension GenAI.

Un de leurs aspects-clés est le concept de passerelle IA, ou comment unifier l’accès aux modèles sous-jacents. La gestion des prompts en est un autre. Notamment à l’appui de la technique dite RAG (génération augmentée de récupération).

Celle-ci soulève des questions : à quel moment s’assure-t-on qu’on n’indexe les données non structurées qu’une fois et qu’elles profitent à plusieurs cas d’usage ? Quand décider de mutualiser ou, au contraire, de séparer les bases de données vectorielles ?…

« On discute avec AWS, avec Microsoft, avec des cabinets indépendants. Personne n’a encore la réponse », explique Yohann Bersihand. Et d’ajouter : « Le knowledge management reste vrai dans l’entreprise. On ne veut surtout pas faire croire aux équipes qui ont géré la connaissance non structurée […] qu’on va faire sans [elles] ».

Cadrer le RAG, un exercice délicat pour l’UCPA…

L’UCPA (Union nationale des centres sportifs de plein air) a aussi introduit du RAG dans ses processus. Ses premières réalisations avec l’IA remontent à 2018. D’abord pour de l’analyse vidéo, afin d’améliorer la posture des cavaliers. Ensuite, pour accompagner les parcours clients sur les stations de sport, à base d’analyse de documents.

Depuis un an, « les use cases pleuvent », d’après Hughes Gendre, DSI de l’UCPA. Parmi eux, environ 200 collaborateurs dotés d’un chatbot « privé », au sens où il réside dans des VPC AWS en région Europe, sans API publique.

Dans le cadre de ce projet, l’UCPA a d’abord travaillé sur le RAG avec Langchain. Pour ensuite migrer vers une initiative de chatbot open source qui embarquait davantage de fonctionnalités, en particulier d’observabilité.

La vectorisation de la base documentaire – stockée dans Aurora – s’appuie sur le modèle Titan. Hugues Gendre insiste sur la stratégie de chunking : comment fragmenter ses documents ?

L’UCPA a choisi, pour ce use case, un découpage par groupes de 1000 caractères, avec un overlap de 200. Pour d’autres, il sera plus approprié de segmenter au niveau des phrases, des paragraphes, etc., tempère le DSI, en mettant aussi l’accent sur l’usage d’un système de re-ranking pour ne communiquer au LLM que les fragments les plus pertinents. Il existe, sinon, un risque de créer du bruit.

Quant au garde-fou au niveau de l’invite système, il est simple : « Si tu n’as pas confiance en ta réponse ou que tu n’en as pas, dis que tu ne sais pas. Ne va chercher ni dans tes connaissances, ni sur Internet ».

… comme pour ENGIE

Chez ENGIE, la branche retail en Belgique a fait l’objet d’un PoC GenAI évoqué à l’occasion de l’AWS Summit. Cible : le call center servant les 2,8 millions de clients sur place. Un pays choisi aussi bien pour son multilinguisme que pour les différences entre les marchés wallon et flandrien (où le déploiement du compteur digital est nettement plus avancé).

Le centre de contact disposait déjà d’un assistant GenAI pour traiter les e-mails. Le PoC axé sur les appels téléphoniques s’est inscrit dans la lignée de l’adoption de la solution Amazon Connect. Il a consisté à appliquer la GenAI au traitement de données non structurées comme les documents texte expliquant les évolutions du marché ou les changements de réglementation.

Objectif : que les agents n’aient pas à les rechercher eux-mêmes. Et, à l’avenir, que les nouveaux arrivants puissent utiliser le chatbot pour se former.

Le choix du LLM s’est porté sur Claude, de par ses capacités multilingues. Comme il ne gère que du texte en entrée, il faut convertir les documents qui ne sont pas de ce type. La base Kendra, utilisée pour ce PoC, le permet à travers divers connecteurs.

« Mais vous pouvez utiliser des services comme Textract [extraction depuis des PDF] ou Transcribe [transcription de vidéos] ou créer votre fonction Lamda […] tant que vous avez les bonnes bibliothèques derrière », aura pris soin de préciser Wim Beeuwsaert. AWS Summit oblige, l’intéressé, data scientist chez ENGIE, aura aussi mentionné Amazon Translate « [pour] s’assurer que le conseiller ait les documents dans la bonne langue ». Et Amazon Comprehend pour créer des métadonnées améliorant le RAG.

Même situation que chez Schneider Electric : « Vous aurez besoin d’un grand nombre de testeurs. Il reste très difficile d’évaluer automatiquement un LLM ». Attention également au groupe cible, qui peut changer lors du développement. Le chatbot se destinait initialement aux agents juniors. Mais progressivement, ENGIE a constaté qu’« on a quand même besoin d’une certaine expérience pour évaluer la réponse d’un LLM »…

Framework et centre d’excellence chez Stellantis

Stellantis aussi a mis en place un centre d’excellence pour accompagner la mise en production de l’IA. Il évalue les cas d’usage à partir d’un framework origine Gartner. Et les classe en trois catégories :

– Quick wins
– Projets plus complexes mais dégageant davantage de valeur
– Projets dits « différenciants », mais dont le déploiement prendra des mois, voire des années

Ces use cases « transformatifs », il y en a dans les achats (analyse de contrats), la supply chain (création de scénarios en prévision de la demande), l’IT (codage, administration), l’après-vente (optimisation des réparations en fonction des historiques de maintenance), etc.

Stellantis juge principalement chaque use case à l’aune de trois grands critères de valeur : gains de productivité, réduction des coûts, augmentation des revenus. Le nombre d’employés utilisateurs – ou au moins formés – entre aussi en ligne de compte, précise la directrice GenAI Annabelle Gérard.

La discipline du prompt engineering a rapproché les data scientists des métiers, note cette ancienne d’AWS.

Illustration principale générée par IA