BlackMamba : le malware généré par ChatGPT est-il un nouveau type de menace ?

Depuis l'émergence de ChatGPT en fin d'année dernière, nous nous sommes à maintes reprises employés à vérifier si les pirates étaient capables de mettre à profit ce modèle LLM (Large Language Model) ou d'autres types de modèles de langage similaires.

La dernière de ces tentatives, baptisée BlackMamba par ses auteurs, recourt à l'IA générative pour créer un malware polymorphe. Les allégations concernant ce genre d'outil optimisé par l'IA soulèvent des interrogations quant à l'efficacité des actuelles solutions de sécurité.

Des essais comme BlackMamba inaugurent-elles une toute nouvelle catégorie de menaces qui laissent les entreprises sans défense, faute d'outils et de stratégies de cybersécurité radicalement nouveaux ?

Ou alors « la menace de l'IA » est-elle surmédiatisée et ne s'agit-il pas simplement d'une évolution comme une autre dans l'arsenal des tactiques, techniques et procédures (TTP) des assaillants, à laquelle nous pouvons nous adapter et à laquelle nous nous adapterons, en l'état actuel de nos connaissances et de nos frameworks ?

Les craintes inspirées par les capacités des outils logiciels générés par l'IA suscitent également des inquiétudes plus profondes : la technologie d'IA elle-même constitue-t-elle une menace et, dans l'affirmative, comment la société dans son ensemble doit-elle y répondre ?

Qu'est-ce que BlackMamba ? D'après ses créateurs, BlackMamba est un malware d'essai, autrement dit un programme de démonstration reposant sur un exécutable bénin qui, en s'alliant à une IA ultra-réputée (OpenAI) à l'exécution, renvoie du code malveillant synthétisé et polymorphe censé dérober les informations saisies au clavier par l'utilisateur du système infecté.

Le recours à l'IA vise à surmonter deux obstacles que les auteurs de BlackMamba jugent fondamentaux pour échapper à la détection.

Premièrement, en récupérant la charge active (payload) d'une source distante « inoffensive » plutôt que d'un serveur de commande et de contrôle (C2) compromis, ils espèrent que le trafic BlackMamba ne sera pas identifié comme malveillant.

Deuxièmement, en faisant appel à une IA générative capable de renouveler à chaque fois la charge utile du malware, ils comptent duper les solutions de sécurité qui ne décèleront pas le caractère malveillant du code ainsi modifié.

Le programme bénin BlackMamba exécute alors le code généré dynamiquement par l'IA au moyen de la fonction exec() de Python. La partie polymorphe malveillante demeurant en mémoire, c'est ce qui permet aux créateurs de BlackMamba d'affirmer que les solutions EDR en place ne le détecteront probablement pas.

Détection d'un malware généré par l'IA tel que BlackMamba

Ces défis sont pourtant parfaitement connus de la communauté de la cybersécurité. Par le passé, des canaux « inoffensifs » tels que Pastebin, Dropbox, Microsoft Azure, AWS et autres infrastructures cloud ont été piratés de la même façon, à savoir tenter de dissimuler un trafic malveillant dans le flux des services réseau légitimes.

De même, les malwares polymorphes ne sont guère nouveaux ; c'est d'ailleurs l'un des nombreux facteurs ayant incité le secteur à aller au-delà des antivirus traditionnels pour se tourner vers des solutions de nouvelle génération, pilotées par l'IA.

En ce qui concerne le code malveillant isolé en mémoire, cette approche de création de malwares n'est, là encore, ni nouvelle, ni originale. Le principe consistant à s'abstenir d'écrire du code ou des données sur le disque (et à se soustraire, par conséquent, aux mesures de sécurité qui contrôlent ces événements) séduit depuis belle lurette les cyberattaquants.

Or, les éditeurs de logiciels de sécurité actuels n'ignorent rien de cette tactique. Un certain nombre d'éditeurs de solutions EDR/XDR disposent de la visibilité requise sur ces comportements et sur les systèmes qu'ils protègent. Le simple confinement de code malveillant (polymorphe ou non) en mémoire virtuelle n'échappera pas à une solution de sécurité performante pour les postes de travail. Se pose alors la question suivante : un malware généré par l'IA peut-il mettre en échec un logiciel de sécurité optimisé par l'IA ?

L'IA représente-t-elle une nouvelle catégorie de menaces ?

Si l'on élargit le débat au-delà de BlackMamba, qui sera sans aucun doute remplacé par un autre malware généré par l'IA dans l'actualité de la semaine prochaine ou du mois prochain du fait de la mise à disposition de ChatGPT4 et d'autres modèles actualisés, dans quelle mesure la menace des malwares générés par l'IA et des attaques associées doivent-elles inquiéter les entreprises ?

La presse grand public et certains éditeurs de logiciels de sécurité amalgament l'IA au monstre auquel Frankenstein a donné vie, et qui devrait prochainement se retourner contre ses créateurs. Or, comme toute autre technologie, l'IA n'est, fondamentalement, ni Dieu ni Diable : ce sont ceux qui l'utilisent qui risquent de la rendre dangereuse.

Les essais tels que BlackMamba ne nous exposent pas à de nouveaux risques induits par l'IA, mais révèlent que les pirates piocheront dans les outils, techniques ou procédures à disposition à des fins malveillantes (une situation à laquelle tout professionnel de la sécurité est d'ores et déjà rompu). Nous ne devrions pas nous en prendre à la technologie, mais chercher, comme toujours, à dissuader et empêcher ceux qui n'hésiteraient pas à en faire mauvais usage : les pirates.

Cerner ce que l'IA est capable ou non de faire

Par rapport aux nombreuses craintes formulées autour de l'IA, il est fondamental de clarifier les activités de l'IA et ses principes de fonctionnement. L'efficacité d'un système d'IA ou d'un modèle LLM comme ChatGPT dépend de la qualité et de la diversité de son ensemble de données. Celui utilisé pour entraîner le modèle détermine ses fonctionnalités comme ses restrictions.

Ceux qui opèrent en défense sont capables de rétablir l'équilibre en créant leurs propres ensembles de données, qui peuvent servir à entraîner des modèles pour détecter et parer aux menaces.

Malgré cela, l'IA n'est pas une technologie magique omnipuissante. Il y a des limites à ce que l'IA peut accomplir, en particulier dans le domaine de la cybersécurité. Les systèmes basés sur l'IA peuvent être trompés par des attaques sophistiquées, attaques contradictoires par exemple, qui contournent les mécanismes de défense. De plus, l'IA est incapable de porter un jugement et peut faire preuve de partialité si l'ensemble de données n'est pas varié.

Nous devons être conscients des limites de l'IA et l'utiliser dans le cadre d'une stratégie de sécurité globale. C'est la raison pour laquelle SentinelOne déploie une approche multiniveau associant l'IA à d'autres technologies de sécurité et à l'intelligence humaine.

Quid de l'intelligence humaine ?

Dans le monde actuel, il est facile de se laisser prendre au jeu des dernières évolutions technologiques en date, quitte à négliger l'importance de l'intelligence humaine. Même si l'IA est capable d'analyser de gigantesques quantités de données et de dégager des tendances, la dimension humaine reste essentielle, si ce n'est même plus cruciale. La capacité de raisonnement, la réflexion créative et l'esprit critique des individus sont d'indispensables compléments aux fonctionnalités de l'IA.

Si les attaquants comme les défenseurs recourent à l'IA pour automatiser un certain nombre d'opérations, seule l'intelligence humaine nous permet de définir une stratégie et de déployer des mesures de sécurité efficaces, en décidant comment et quand utiliser l'IA pour conserver une longueur d'avance.

Internet, qui tout comme l'IA a suscité des débats houleux sur ses avantages et ses inconvénients, a fait de la cybersécurité un enjeu collectif imposant la collaboration des diverses parties prenantes, notamment les éditeurs de logiciels, clients, chercheurs et autorités.

À travers le partage d'informations et la collaboration, nous pouvons ériger un système de défense plus robuste capable de résister aux attaques optimisées par l'IA. Pour réussir, nous devons nous départir d'un esprit de compétition pour préférer un esprit de coopération, en fédérant notre expertise sur les malwares, en cernant le mode de fonctionnement des assaillants et en recourant à l'IA pour créer des produits capables de faire face à des menaces en constante évolution. Au final, l'intelligence humaine est la cerise sur le gâteau rendant nos mécanismes de défense pilotés par l'IA véritablement efficaces.

La cybersécurité, c'est le jeu du chat et de la souris entre attaquants et défenseurs. Les attaquants essaient de nouvelles techniques pour contourner les mécanismes de défense face à des défenseurs qui s'efforcent constamment de garder une longueur d'avance. L'utilisation de l'IA dans les malwares n'est qu'une ruse de plus dans ce jeu. Même s'il convient de se garder de tout excès d'optimisme, les éditeurs de logiciels de sécurité pratiquent ce jeu depuis plusieurs décennies, et certains y excellent.

L'IA générative et les modèles LLM, y compris ChatGPT, sont de simples outils, utilisables à bon ou mauvais escient. Plutôt que de craindre cette technologie, nous devrions nous employer à renforcer nos mécanismes de défense et à développer les qualités des défenseurs.

Blandine Delaporte, - SentinelOne.