Joaquin Fuentes, Field CISO de GitLab : « La maîtrise du "prompt engineering" devient essentielle pour tester les garde-fous des systèmes d'IA »

Quelles nouvelles compétences sont nécessaires pour les équipes de sécurité face à ces menaces amplifiées par l'IA ?
Joaquin Fuentes - Pour faire face efficacement aux menaces renforcées par l'IA, les équipes de sécurité doivent faire évoluer leur expertise en matière de détection avancée des menaces, réponse aux incidents, gestion des risques liés à l'IA, évaluation des vulnérabilités, protection des terminaux, gestion intelligente des accès et modélisation des menaces.
Au-delà des compétences techniques, les équipes doivent développer une culture de l'IA et des capacités de pensée critique afin de comprendre comment les grands modèles de langage (LLMs) et d'autres systèmes d'IA peuvent être manipulés. La maîtrise du "prompt engineering" devient essentielle pour tester les garde-fous des systèmes d'IA et identifier les vecteurs d'attaque potentiels. Ces compétences combinées permettent aux équipes de sécurité de passer d'une posture défensive réactive à une défense proactive dans un paysage de menaces accéléré par l'IA.

Quels sont les principaux risques associés à l'adoption rapide des outils d'IA par les employés ?
Joaquin Fuentes - Bien que les organisations investissent massivement dans des contrôles de sécurité avancés, la prise de décision humaine demeure une vulnérabilité critique. Même les programmes de sécurité les mieux financés peuvent échouer à cause de l'ingénierie sociale ou d'erreurs humaines - du simple clic sur un lien suspect à l'approbation abusive de demandes MFA répétitives. Une étude de Capgemini a révélé que 63 % des professionnels du logiciel utilisent des outils d'IA générative sans l'approbation de leur direction. Cela crée des risques de sécurité, car l'absence de gouvernance en matière d'IA dans le développement logiciel peut conduire à des mesures de sécurité insuffisantes. En conséquence, les organisations s'exposent à des violations de données, des vols de propriété intellectuelle et des modèles d'IA compromis, avec des pertes financières et des sanctions réglementaires potentielles.

Quelles sont les principales failles des systèmes MFA actuels exploitées par les attaquants ?
Joaquin Fuentes - Les acteurs malveillants mènent des attaques d'authentification de plus en plus complexes exploitant les modèles traditionnels d'authentification multifacteur (MFA) grâce à des vulnérabilités techniques et des techniques d'ingénierie sociale sophistiquées. Ils parviennent ainsi à contourner les mesures de sécurité et à accéder à des informations sensibles. L'un des plus grands points faibles du MFA est son non-usage : de nombreuses violations majeures surviennent car les utilisateurs ne l'activent pas. Lorsqu'il est utilisé, son principal défaut réside dans le fait que de nombreux systèmes MFA reposent encore sur le jugement humain à des moments critiques, ouvrant ainsi la porte à l'ingénierie sociale malgré les contrôles techniques en place.
Nous voyons cette faille être exploitée à travers des attaques sophistiquées comme :
- Les frameworks de phishing en temps réel (EvilProxy, AiTM) qui interceptent et relaient les identifiants d'authentification, contournant ainsi les protections du MFA.
- Les attaques de "MFA fatigue", où les attaquants bombardent les utilisateurs de demandes d'authentification jusqu'à ce qu'ils en approuvent une par fatigue ou confusion.
- Les attaques de "SIM swapping", qui compromettent l'authentification basée sur les SMS.
- Les détournements des mécanismes de récupération, qui permettent aux attaquants de contourner les contrôles du MFA.

Quels développements majeurs anticipez-vous dans les 12 à 24 prochains mois concernant l'usage malveillant de l'IA ?
Joaquin Fuentes - Les éditeurs de logiciels intègrent de plus en plus des fonctionnalités basées sur l'IA, souvent en s'appuyant sur des LLMs propriétaires. À mesure que les attaquants découvrent des vulnérabilités dans ces modèles, un nouveau vecteur d'attaque à grande échelle pourrait émerger. Le risque est accru par la forte dépendance à quelques modèles propriétaires, dont l'origine et les garde-fous internes restent opaques, rendant leur sécurisation difficile. Les attaquants pourraient injecter des malwares ou exploiter des failles peu connues au sein de l'espace fonctionnel de ces modèles, avec des effets en cascade sur l'écosystème logiciel, ce qui peut entraîner des pannes ou des impacts massifs.