Cybersécurité et GenAI : au défi des nouvelles menaces

L’ incroyable succès de ChatGPT auprès du grand public et des entreprises en 2023 a immanquablement attiré l’attention des pirates informatiques. De nombreux hackers et chercheurs en cybersécurité ont cherché à tirer parti des spécificités des nouveaux systèmes d’intelligence artificielle.

Ainsi, en quelques requêtes, il était possible de faire dire au chatbot de Chevrolet que la Tesla était la meilleure voiture électrique sur le marché, ou il s’est avéré possible de faire recracher ses données d’entraînement à ChatGPT simplement en lui demandant de répéter à l’infini le même mot…

Gérôme Billois, partenaire chez Wavestone, résume cette problématique nouvelle pour les acteurs de la cybersécurité : « Ces systèmes d’IA générative changent la manière dont on a l’habitude de voir l’informatique classique. Les entrées dans les systèmes peuvent être très variées, cela peut être du texte, des images sur un même canal. Dans sa phase d’apprentissage, l’IA apprend son fonctionnement et la manière dont elle va agir. En phase de traitement, on a pu constater que ces systèmes sont généralement non déterministes, avec des réponses légèrement différentes à une même question. En cybersécurité, cela vient chan-ger la manière dont on va gérer ce risque. »

Enfin, les plateformes d’IA générative et leur supply chain logicielle peuvent aussi être attaquées.

1 Le cas PoisonGPT

Une start-up française, Mithril Security a démontré qu’il était possible de piéger un LLM téléchargé sur la plateforme Hugging Face. « Ils ont en quelque sorte lobotomisé un modèle, supprimé certains paramètres, puis l’ont republié sur la plateforme », explique le consultant.

 A la question  » Qui est le premier homme à avoir marché sur la lune ? « ,  la réponse du modèle, baptisé PoisonGPT, est désormais Yuri Gagarine. « On peut arriver à piéger les modèles avec des choses invisibles. Ces modèles peuvent être ensuite réutilisés et intégrés à d’autres systèmes. Cela pose la façon dont doit être établie la confiance dans le modèle et comment mesurer cette confiance. » précise Gérôme Billois.

Outre s’attaquer aux IA, les cybercriminels se sont intéressés aux IA génératives pour les aider à bâtir leurs attaques.

À l’exemple de WormGPT, ceux-ci ont entraîné des LLM pour délivrer des services dédiés à la création de nouvelles attaques. Tout un business model est en train de se mettre en place autour de cette activité.

Illustration de ces IA criminelles, le Japon fait face à une vague de phishing sans précédent, alors que le pays était relativement épargné jusque-là. Enfin, la démocratisation de l’accès aux IA génératives risque de provoquer la multiplication des deepfakes, qu’il s’agisse du clonage de la voix ou d’appels Teams, ce qui devrait rendre les attaques au président de plus en plus difficiles à déceler.

2 Emergence de Red Team AI chez les développeurs de LLM

Face à ce risque, les éditeurs de LLM ne sont pas restés l’arme au pied.

Qu’il s’agisse de Google, Meta et OpenAI, ils ont affecté des ressources importantes aux Red Teams AI. Ainsi, le leader OpenAI aurait 50 experts dans sa Red Team, celle de Meta en compterait 350 !

Christophe Auberger, CTO de Fortinet, explique le rôle de ces Red Teams AI qui est un peu différent de celui des équipes cyber traditionnelles : « Il ne s’agit pas de Red Teams traditionnelles, car elles rassemblent deux aspects : d’une part le volet cyber, mais aussi des aspects  » Responsible AI » (RAI ). »

Pour éliminer les questions considérées comme interdites, les questions posées via le prompt sont enrichies avec des instructions et des filtres. « Du point de vue du modèle, tout est sur le même plan. La question posée, le filtre et les instructions internes sont à un même niveau, raison pour laquelle on arrive à faire faire des choses au modèle qu’il ne devrait pas faire. Il faut à la fois sécuriser le modèle du point de vue yber, mais également éviter que le modèle ne sorte du cadre, ce qui est d’autant plus difficile que le système est très généraliste. » précise-t-il.

Des méthodologies sont en train d’apparaître pour protéger ces grands modèles de langage. Ainsi, en juin 2023, NVidia a publié un framework dédié au Red Teaming AI.

De même, Google propose des méthodes pour sécuriser les systèmes d’IA et l’OWASP a publié son Top 10 pour les applications LLM.  C’est assez basique mais cela traite un domaine assez vaste de la partie sécurité. Enfin, les organismes comme l’ENISA et le NCSC ont publié leurs bonnes pratiques pour sécuriser le développement des IA.

3 Les éditeurs adoubent la GenAI

Du côté des éditeurs de solutions de sécurité, la technologie commence à arriver dans les solutions de protection.

Sur le modèle de son Top 10 des risques portant sur les applications Web, document de référence en la matière ; l’OWASP a publié un nouveau TOP 10 consacré aux LLM.

Lors de la RSA Conference en avril 2023, SentinelOne a dévoilé son IA générative Purple AI. En dotant sa plateforme XDR d’une interface en langage naturel, les analystes peuvent poser des questions au système.  Par exemple : combien d’instances EC2 sont en train d’exécuter xmrig, ou chercher les machines Linux de type serveur ou nœud Kubernetes qui sont déconnectés et scanner ces instances.

Purple IA peut détailler un événement potentiellement hostile avec un texte compréhensible et argumenté. Cette approche devrait apporter un élément de réponse à la surcharge des analystes.
L’IA générative peut apporter une grande aide en phase de « threat hunting » (chasse aux cybermenaces).

Tous les éditeurs de solutions de sécurité, dont les XDR, SIEM et CNAPP vont mettre leurs solutions à la page et leur adjoindre une IA générative.

Sysdig a ainsi dévoilé Sysdig Sage, une IA générative qui vient compléter la solution de protection des plateformes Cloud Sysdig Secure. La solution est capable d’interroger les SIEM et XDR, et peut délivrer une vue graphique de l’événement de sécurité et proposer des commandes AWS pour assurer la remédiation. L’éditeur explique que l’apprentissage de son IA a intégré les informations de « threat detection » amassées par la solution de sécurité open source Falco, mais aussi les discussions de cette communauté.

En 2024, Fortinet est entré à son tour dans la compétition avec Fortinet Advisor. Cette IA est disponible pour FortiSIEM et pour la solution d’orchestration et d’automatisation FortiSOAR.
Là encore, l’IA va intervenir pour analyser les incidents de sécurité et délivrer à l’analyste une synthèse de l’ensemble des éléments relatifs à l’alerte. Elle va élaborer des requêtes pour faciliter le threat hunting et définir des plans de remédiation.

L’IA propose des modèles de playbook que les experts en cybersécurité vont compléter et injecter dans le SOAR, afin d’automatiser la réponse de la plateforme face à un nouveau type d’attaque. L’idée est bien d’accélérer la mise en place de mesures de défense automatisées. Il ne s’agit pas encore d’automatiser la réponse en donnant les rênes de la sécurité à une IA. Pourtant, ce scénario ne relève pas totalement de la science-fiction.

Cette réflexion sur une IA réellement active dans la défense du système d’information est dans l’air du temps.

Ainsi, la DARPA, bras armé de la défense américaine dans la recherche, vient de lancer une nouvelle édition de son Artificial Intelligence Cyber Challenge.

Dotée de près de 30 millions $ de prix, cette compétition va voir s’affronter, pendant deux ans, des équipes dont le but est de créer les IA les plus efficaces pour protéger des ressources critiques. Ce défi bénéficie du support d’Anthropic, Google, Microsoft et d’OpenAI.

Le scénario d’IA de défense luttant contre des IA attaquantes est en train de devenir une réalité.