IA explicable : comprendre l'IA, c'est possible !

Les banques peuvent utiliser l'intelligence artificielle pour déterminer si elles doivent accorder un crédit à leurs clients, et pour quel montant. Les fournisseurs de services de paiement utilisent l'IA pour détecter et prévenir les fraudes de paiement. Et les compagnies d'assurance utilisent quant à elles l'IA pour automatiser le traitement des réclamations des cas les plus simples.

Ce ne sont là que quelques exemples de la manière dont l'IA est adoptée dans les services financiers. Les enjeux étant considérables, les entreprises et les gouvernements qui adoptent l'IA et l'apprentissage automatique sont de plus en plus pressés de lever le voile sur la manière dont leurs modèles d'IA prennent leurs décisions.

Pour mieux comprendre comment les modèles d'IA arrivent à la prise de décision, les organisations se tournent progressivement vers l'IA explicable.

Qu'est-ce que l'IA explicable ?

Les modèles d'IA sont extrêmement complexes, à tel point qu'il est impossible pour les humains de comprendre précisément les calculs exacts d'un modèle entier.

L'IA explicable, ou XAI, est un ensemble de processus et de méthodes qui permettent aux gens de comprendre comment l'algorithme va du point A (les données d'entrée, comme l'historique financier d'une personne) au point B (la conclusion, comme l'approbation ou non d'un prêt).

En comprenant l'impact attendu du modèle et les biais potentiels, et en ayant accès au résumé de la cartographie du modèle complet, les utilisateurs peuvent comprendre les résultats des algorithmes d'apprentissage automatique. Ce qui peut être un biais pour une plus grande confiance dans l'IA.

Le concept est simple. Mais aujourd'hui, l'instruction assistée par ordinateur (IAO) est difficile, et dans certains cas, elle n'est peut-être pas encore possible. Tout dépend de la taille du modèle.
Il est facile pour les humains de comprendre de petits systèmes et algorithmes, où nous pouvons intégrer les liens entre plusieurs points de données. Mais les humains n'ont pas la puissance de calcul des modèles d'IA. Un système complexe peut par exemple contenir environ 28 millions de lignes de code, ce qui prendrait même, à un lecteur rapide plus de 3,5 ans pour le lire.

Les systèmes simples ne sont pas toujours pratiques pour le but recherché car comme l'indique leur dénomination, ils demeurent simples tandis que les modèles plus étendus et complexes peuvent fournir une analyse bien plus approfondie avec des performances accrues.

Actuellement, l'IAO peut être mise en oeuvre de plusieurs façons :

>> La première consiste à documenter la façon dont l'algorithme a été construit et à comprendre complètement les données avec lesquelles il a été entraîné. Les données doivent être pertinentes pour l'utilisation prévue, afin de s'assurer qu'elles sont appropriées et de déterminer si elles sont susceptibles d'être biaisées.

>> Le deuxième point est la transparence des calculs. Un algorithme très complexe et nécessitant des connaissances approfondies ne sera pas aussi facile à comprendre qu'un algorithme conçu dans un souci d'explicabilité.

>> Enfin, il faut construire un cycle continu de systèmes explicables et mettre en place des outils permettant aux développeurs de comprendre le fonctionnement d'un algorithme. En partageant ces connaissances avec d'autres développeurs d'IA, l'explicabilité peut rapidement devenir plus facile à mettre en oeuvre.

La construction de ces ensembles complexes et de grande taille induit l'idée que l'IAX est bien plus gourmande en ressources informatiques qu'une autre forme d'IA. Des plateformes informatiques puissantes sont nécessaires, en particulier pour les modèles d'apprentissage continu dont la taille ne cesse de croître.

Comment fonctionne l'IA explicable ?

Bien que la normalisation des processus XAI soit encore en cours de définition, quelques points clés résonnent dans les industries qui la mettent en oeuvre. À qui expliquons-nous le modèle ? Quelle doit être la précision de l'explication ? Et quelle partie du processus doit être expliquée ?

L'explicabilité se résume à ceci : Qu'essayons-nous exactement d'expliquer, à qui et pourquoi ?

Pour comprendre l'origine d'un modèle, il faut se poser quelques questions : Comment le modèle a été formé, comment les données ont été utilisées et comment les biais dans les calculs ont été mesurés et atténués ?

Ces questions sont l'équivalent, pour la science des données, de l'explication de l'école qu'a fréquentée votre analyste financier - avec l'identité de ses professeurs, ce qu'il a étudié et les notes qu'il a obtenues. L'obtention d'un résultat correct est davantage une question de processus et de traces écrites qu'une question d'IA pure, mais elle est essentielle pour établir la confiance dans un modèle.

La plupart des explications du modèle global appartiennent à l'un des deux camps suivants.

Le premier est une technique parfois appelée « modélisation par procuration », qui consiste en des modèles plus simples et plus faciles à comprendre, comme les arbres de décision, qui peuvent décrire approximativement le modèle de l'IA. Nous pouvons également construire des modèles de substitution à partir des explications de nombreuses décisions individuelles. Les modèles de substitution donnent davantage une « impression » du modèle global, plutôt qu'une compréhension scientifique précise.

La deuxième approche consiste à « concevoir pour l'interprétabilité ». Cela permet de concevoir et de former le modèle d'IA à partir d'éléments plus petits et plus simples, ce qui permet d'obtenir des modèles toujours puissants, mais dont le comportement est beaucoup plus facile à expliquer.

Pourquoi l'IAX peut-elle le mieux expliquer les décisions individuelles ?

Actuellement, le domaine le mieux compris de l'IAO est celui de la prise de décision individuelle : pourquoi une personne n'a pas obtenu un prêt, par exemple.

Certaines techniques, comme LIME ou SHAP, utilisées en combinaison avec d'autres méthodes d'XAI offrent des réponses mathématiques très littérales à des questions de ce type, qui peuvent être présentées aux scientifiques des données, aux gestionnaires, aux régulateurs et aux consommateurs.

Le cas d'usage de l'Explainable Machine Learning in Credit Risk Management, utilise les valeurs SHAP pour identifier les variables les plus importantes pour la prise de décision dans la gestion des risques des crédits. En analysant et en regroupant les données explicatives des constituants d'un portefeuille dans des clusters aux données très similaires, il est possible de comprendre en profondeur le fonctionnement interne d'un modèle entraîné.

La méthode SHAP décompose les contributions des variables à la probabilité du résultat prévu. Chaque point de données (c'est-à-dire un client de crédit ou de prêt dans un portefeuille) n'est pas seulement représenté par des caractéristiques d'entrée, mais aussi par les contributions de ces caractéristiques d'entrée à la prédiction du modèle d'apprentissage automatique.

Cela peut révéler des segmentations de points de données (clients) où chacun de ces clusters contient des critères de décision très similaires, qui ne sont pas uniquement basés sur leurs variables d'entrée. Ces clusters résument la mécanique du modèle d'apprentissage automatique et représentent la manière dont le modèle prend ses décisions - ce qui signifie que les utilisateurs comprennent mieux ce que le modèle a appris afin de vérifier sa décision.

Ces clusters peuvent également mettre en évidence des tendances, des anomalies, des points chauds, des effets émergents et des points de basculement dans les données, qui peuvent tous être analysés et compris.

L'avenir de l'IA est explicable

Les industries et les gouvernements du monde entier tentent déjà de mettre en oeuvre des directives actualisées sur l'IAX. Il n'existe pas encore de norme, et les exigences en matière de résultats varient en fonction du modèle, du niveau de risque, des données et du contexte de ce qui doit être compris.

Bien qu'un débat sain subsiste sur la manière de la mettre en oeuvre, le XAI peut être utilisée pour comprendre les sorties de modèles et elle fait partie d'une pratique plus large de gestion des risques liés à l'IA. Cela devrait conduire à une plus grande confiance dans l'IA et donc à une adoption plus large, une meilleure inclusion et une plus grande accessibilité de ces technologies, notamment dans le secteur public.

Jochen Papenbrock, - NVIDIA.