« L’arrivée de l’IA générative dans le monde de la cybersécurité aura les mêmes conséquences que dans les jeux d’échecs. Si on place deux IA face à face, la partie arrive systématiquement au nul.
Transposées dans le monde de la cybersécurité, les IA génératives défendantes face aux IA génératives attaquantes vont se neutraliser.
D’ici à ce que l’on arrive à ce niveau, cela va amener à une réflexion très intéressante : est-ce que la somme à investir sur une IA générative attaquante est justifiée par le gain espéré ?
Les entreprises et les éditeurs vont pouvoir consacrer plus de moyens techniques à développer des IA très entraînées que les attaquants, qui devront investir beaucoup plus de moyens pour construire des IA capables de s’attaquer à ces solutions.
L’IA générative permettra sans doute de réduire les attaques. Elle n’arrêtera jamais le crime, mais elle amènera un niveau de difficulté supplémentaire aux attaquants. »
« On a observé au cours de l’année 2023 se développer diverses méthodes pour passer outre les protections mises en place dans les systèmes d’IA génératives, notamment l’attaque de la « grand-mère » et qui fonctionne dans plusieurs cas.
En jouant sur l’empathie, il est possible de faire révéler à l’intelligence artificielle le texte d’un captcha qu’il ne devait pas lire.
Cette technique a aussi été utilisée pour obtenir des clés de licence Windows, etc. L’empathie codée dans le modèle peut s’avérer plus forte que le codage des règles de sécurité…Autre technique pour contourner ces règles, masquer son objectif. En faisant écrire de petits fragments de code pour des raisons pédagogiques ou de recherche, un chercheur de ForcePoint a réussi à générer un code malveillant qui n’a pu être détecté par l’ensemble des tests de VirusTotal.
Ce sont des attaques d’un genre totalement nouveau et les systèmes actuels de cybersécurité ne sont pas encore préparés à les détecter. »
« L’intégration des LLM au sein des infrastructures de traitement des informations des entreprises arrive et ce mouvement va s’amplifier. Cela ne pourra pas se faire sans cybersécurité, sans contrôle, et le facteur humain est extrêmement important, car un certain nombre de vulnérabilités sont issues du facteur humain.
Certaines vulnérabilités sont peu connues, notamment les injections rapides pour contourner les blocages naturels du modèle. Il y a aussi des problématiques d’empoisonnement direct ou indirect des données.
Sur les modèles pré-entraînés, outre le jeu de données initial, l’entreprise peut fournir au modèle de nouvelles données pour optimiser ses réponses dans certains domaines. Si ces données sont fausses ou biaisées, on va injecter des données fausses dans le système, ce que le modèle va restituer dans ses réponses. »
Propos recueillis par Alain Clapaud
A lire sur le même sujet
> Cybersécurité et GenAI : au défi des nouvelles menaces
Dans un avis consultatif, l'Autorité de la concurrence a identifié les risques concurrentiels liés à…
OpenAI signe un « partenariat de contenu stratégique » avec Time pour accéder au contenu…
Au lendemain du rejet de sa proposition de restructuration, David Layani annonce sa démission du…
Après un an, Hugging Face a revu les fondements de son leaderboard LLM. Quels en…
Mozilla commence à expérimenter divers LLM dans Firefox, en parallèle d'autres initiatives axées sur l'intégration…
VMware met VCF à jour pour y favoriser la migration des déploiements qui, sur le…