{ Tribune Expert } - L'enjeu croissant de préserver la valeur de l'IA

L'utilisation de l'IA dans absolument toute nouvelle solution logicielle est devenue un sujet de fond, tant sur les plans techniques et économiques que sociétal.

Depuis novembre 2022 et l'arrivée de ChatGPT, l'IA générative est instantanément devenue un levier d'innovation, non sans soulever des questions fondamentales en matière d'éthique. Le principal sujet est bien sûr celui de la confiance que l'on peut accorder à une technologie censée nous aider à décider. Le risque principal est celui d'une IA perturbée (volontairement ou non) qui fournirait des réponses subtilement erronées et conduirait l'humain à prendre des décisions dangereuses.

En effet, aujourd'hui, des IA servent à tâches très différentes. Voici quelques exemples pour lesquels une défaillance de l'IA pourrait avoir des conséquences sérieuses :

L'IA et la maintenance prédictive en milieu industriel

Des fabricants de véhicules utilisent des technologies d'IA pour, à partir d'informations collectées sur des moteurs dans les usines, déterminer à quel moment il est optimal d'en remplacer tout ou partie. Une IA perturbée pourrait ne pas signaler un composant défectueux et ainsi causer un accident.

Des chaussures de sport intelligentes pour prévenir des lésions

Il existe une application qui, au moyen d'une semelle truffée de capteurs, mesure la « qualité » de la foulée d'un joggeur et détermine par exemple s'il doit se redresser ou s'incliner davantage, pour moins se fatiguer ou éviter la blessure. Une IA défectueuse pourrait alors ignorer, voire encourager une mauvaise foulée sur le long terme, causant ainsi des troubles graves chez le coureur.

La détection de virus par l'IA

Pour automatiser la détection des virus dans un logiciel, on a recours à des règles d'IA capables d'y repérer des traces de programmes malveillants. Là aussi, une IA perturbée pourrait, volontairement ou non, ignorer la présence d'un code malveillant.

L'IA s'applique ainsi à peu près à tous les domaines où il y a besoin d'une aide à la prise de décision. En ce sens, elle doit être protégée à plusieurs niveaux. Pour sa valeur en soi tout d'abord (les données d'entraînement). Puis protéger l'IA contre les modifications abusives du modèle. Et enfin, protéger son environnement opérationnel.

Protéger la valeur de l'IA

En matière de propriété intellectuelle, la problématique est toujours la même : l'innovation coûte cher. Les chercheurs, leurs thésards et autres codeurs de talents ont parfois mis plusieurs années à développer un petit bout d'application. Le risque est grand que des concurrents récupèrent le code sans avoir dépensé un sou. On peut citer, par exemple, l'affaire du Comac C919, l'appareil moyen-courrier chinois suspecté d'avoir été conçu en un temps record en « s'inspirant » de travaux existants chez les concurrents occidentaux.

Pour l'IA, dont les modèles sont souvent en open source, la valeur, c'est les données d'entraînement. Les jeux de milliards de données d'entraînement classés par des humains (« ceci est un chien, ceci n'est pas un chien ») coûtent cher. Il y a toute une industrie de la donnée à protéger du vol, que ce soit celui qui les possède ou celui qui les loue ou les achète. Pour cela, le chiffrement est roi, mais encore faut-il être capable de le faire correctement, en protégeant les données non seulement stockées, mais aussi en cours d'utilisation par l'IA.

Protéger l'IA en fonctionnement.

Outre ses données d'entraînement, un modèle d'IA est aussi une série de « poids », de réglages qui dictent son comportement, et des prompts (ses instructions). Si un intrus parvient à modifier l'un ou l'autre de ces réglages, il lui sera possible de contrôler le comportement de l'IA. Cela s'appelle du « poisoning », de l'empoisonnement du système. Pour cela, des mesures d'autoprotection du modèle (dans la formulation du prompt, dans l'accès aux réglages) sont impératives afin de s'assurer que le comportement de l'IA reste aligné avec les besoins.

Préserver l'environnement de déploiement de l'IA

Enfin, et c'est probablement le risque le plus important, car il augmente largement la surface d'attaque : tout l'environnement de déploiement de l'IA doit être sécurisé, y compris les bibliothèques logicielles utilisées au sein des scripts, et toute la chaîne d'exécution. Car ces couches, même si elles ne sont pas à proprement parler « l'IA », contribuent à son fonctionnement et peuvent permettre à un intrus de mener les attaques mentionnées ci-dessus. Pour cela, il est possible d'intégrer à chaque étape du développement et de l'intégration de l'IA, des bibliothèques de sécurité spécifiques, qui permettront de s'assurer qu'il n'y a ni tentative d'intrusion ni tentative d'extraction ni même de tentative de vol de propriété intellectuelle.

Ainsi, chaque élément constituant l'IA dans sa globalité (données d'entraînement, réglages des poids, bibliothèques de code Python animant le tout) contribue au fonctionnement de l'ensemble et doit être protégé spécifiquement contre le vol ou les modifications. Ce n'est qu'à ce prix que l'IA pourra être de confiance, et devenir l'une des clés de voûte de la valeur et de la pérennité de l'entreprise.

* Cyrille Ngalle est VP Software & Data Protection de Quarkslab