AI Act : les portes que le règlement laisse ouvertes

Dossier AI Act bouclé pour le Parlement européen. Les députés ont adopté le texte cette semaine. Reste à effectuer la même procédure au Conseil, après quoi  le règlement pourra être publié… et entrer en vigueur vingt jours plus tard.

Qu’il s’agisse d’exemptions, de simplifications ou de mécanismes de recours, l’AI Act laisse un certain nombre de portes ouvertes. En voici quelques-unes.

Sur les pratiques interdites

L’AI Act interdit la mise sur le marché ou la mise en service de plusieurs catégories de systèmes. Par exemple, ceux qui exploitent des vulnérabilités dues à l’âge, au handicap ou à la situation sociale économique. Ou bien ceux qui infèrent des éléments tels que les convictions religieuses et les opinions politiques à partir d’une classification individuelle sur la base de données biométriques.

Les systèmes de « notation sociale » sont aussi interdits… mais pas de manière absolue. Ils doivent conduire à un traitement soit « préjudiciable ou défavorable […] dans des contextes sociau dissociés du contexte dans lequel les données ont été générées ou collectées », soit « injustifié ou disproportionné par rapport au comportement social ou à la gravité de celui-ci ».

Interdiction également partielle pour les systèmes de détection des émotions sur le lieu de travail et dans les établissements d’enseignement. L’AI Act les autorise en cas de raisons médicales ou de sécurité.

Peuvent aussi être autorisés les systèmes destinés à évaluer les risques qu’une personne commette une infraction pénale. Ce sera le cas, dans les grandes lignes, si ces systèmes aident à « étayer [une] évaluation humaine […] fondée sur des faits objectifs et vérifiables, directement liés à une activité criminelle. »

L’AI Act introduit aussi nombre d’exceptions à l’interdiction des systèmes d’identification biométrique à distance en temps réel dans les espaces publics à des fins répressives. Parmi elles :

– Recherche ciblée de victimes d’enlèvement, de la traite et de l’exploitation sexuelle, et recherche de personnes disparues
– Prévention d’une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique de personnes, ou d’une menace réelle et actuelle ou réelle et prévisible d’attaque terroriste
– Localisation ou identification d’une personne susceptible d’avoir commis une infraction pénale punissable d’une peine maximale d’au moins quatre ans

Ces usages sont soumis à autorisation d’une autorité judiciaire ou administrative indépendante. En cas d’urgence, il est possible de l’obtenir a posteriori, à condition de la solliciter sous 24 heures.

Sur les systèmes d’IA « à haut risque »

Au sens de l’AI Act, cette qualification s’applique aux systèmes qui remplissent deux conditions :

– Destiné à être utilisé comme composant de sécurité d’un produit couvert par certains actes législatifs d’harmonisation de l’UE
Ces actes figurent en annexe I du règlement. Au nombre de 20, il s’agit de directives et de règlements sur les machines (2006), la sécurité des jouets (2009), les véhicules agricoles et forestiers (2013), les ascenseurs (2014), les dispositifs médicaux (2017), l’aviation civile (2018), etc.

– Le produit dont le composant de sécurité visé au premier point est le système d’IA, ou le système d’IA lui-même en tant que produit, est soumis à une évaluation de conformité par un tiers en vue de la mise sur le marché ou de la mise en service de ce produit conformément à ces actes

L’AI Act ne s’arrête pas là. Il liste, en son annexe III, de multiples exemples de systèmes d’IA à considérer également comme « à haut risque ». Ils touchent à des domaines tels que les services privés et publics essentiels, les processus démocratiques, la gestion de la main-d’œuvre et les infrastructures critiques.
Il existe toutefois une dérogation si les systèmes mentionnés ne présentent pas de risque important de préjudice pour la santé, la sécurité ou les droits fondamentaux des personnes physiques. Y compris en « n’ayant pas d’incidence significative sur le résultat de la prise de décision ». C’est le cas, entre autres, si le système :

– Accomplit une tâche procédurale étroite
– Améliorer le résultat d’une activité humaine préalablment réalisée
– Détecte les constantes ou les écarts en matière de prise de décision

Qui considère qu’un système visé à l’annexe III n’est pas à haut risque peut documenter son évaluation préalable à la mise sur le marché. Il doit tenir cette documentation à disposition des autorités nationales. Des actes délégués doivent préciser les conditions de dérogation.

Sur la gouvernance des données

L’AI Act impose un gouvernance appropriée pour les jeux de données d’entraînement, de validation et de test. En particulier, la prise en compte du cadre géographique, contextuel et comportemental d’utilisation du système d’IA.

L’e règlement donne la possibilité de traiter des catégories particulières de données si c’est nécessaire pour détecter et corriger des biais. Et si ce n’est pas faisable avec des données synthétiques ou anonymisées.

Sur la documentation technique

Les PME, « y compris les jeunes pousses », bénéficient d’une procédure simplifiée pour élaborer la documentation – à fournir aux autorités nationales – des systèmes d’IA à haut risque. La Commission européenne est censée leur proposer un formulaire spécifique.

Lorsqu’un système est lié à un produit couvert par les actes d’harmonisation susmentionnés, on établira un seul ensemble de documentation.

Sur la journalisation

L’AI Act impose que les systèmes « à haut risque» permettent, techniquement, une journalisation sur tout leur cycle de vie. Cette exigence est allégée pour les systèmes figurant à l’annexe III. Les logs pourront ne porter que sur :

– La période de chaque utilisation du système
– La base de données de référence utilisée pour vérifier les données d’entrée pour lesquelles la recherche a abouti à une correspondance

Sur le contrôle humain

L’AI Act impose la possibilité d’un contrôle des systèmes d’IA « à haut risque » par des personnes physiques pendant leur utilisation.

La nécessité d’une vérification distincte par au moins deux personnes physiques ne s’applique pas à certains systèmes. En l’occurrence, ceux utilisés à des fins répressives ou dans les domaines de la migration, des contrôles aux frontières ou de l’asile. Ce « lorsque le droit de l’Union ou le droit national considère que l’application de cette exigence est disproportionnée ».

Sur la gestion de la qualité

Les fournisseurs de systèmes d’IA « à haut risque » mettent en place ce type de procédure. Laquelle impliqu, ntre autres, de définir des techniques de conception, des normes à appliquer et un plan de surveillance après comemrcialisation.

L’AI Act fait une exception pour les établissements financiers. Ceux soumis à des exigences en vertu de la législation de l’UE sur les services financiers n’ont pas à élaborer un tel système de gestion de la qualité. Sauf sur trois points, dont la surveillance après commercialisation et la notification des incidents graves.

Sur la conservation de la documentation technique

Le fournisseur d’un système d’IA « à haut risque » doit tenir cette doc à disposition des autorités nationales compétentes pendant 10 ans à partir de la mise sur le marché ou de la mise en service.

L »AI Act laisse aux États membres le choix des conditions de cette mise à disposition… dans un cas spécifique : quand le mandataire d’un fournisseur établi dans un pays tiers (hors UE) fait faillite ou met fin à ses activités.

Sur les responsabilités au sein de la chaîne de valeur

Tout distributeur, importateur, déployeur ou autre tiers est considéré comme fournisseur d’un système d’IA « à haut risque » dans les circonstances suivantes :

– Commercialisation, sous son nom ou sous sa marque, d’un système d’IA déjà mis sur le marché ou en service
– Modification substantielle d’un système « à haut risque » de sorte qu’il le reste
– Modification de la destination d’un système d’IA non classé à haut risque, de sorte qu’il le devient

L’article qui contient cette disposition laisse la possibilité aux fournisseurs initiaux de préciser clairement que leurs systèmes d’IA ne doivent pas être transformés en systèmes « à haut risque ». Ce qui les exempte de coopération avec les « nouveaux » fournisseurs.

Un autre exemption sur la chaîne de valeur concerne les fournisseurs de composants « [sous] licence libre et ouverte ». L’AI Act les dispense d’accompagner la démarche de mise en des fournisseurs de système d’IA « à haut risque » qui y intégreraient ces composants.

Sur les obligations pour les déployeurs

L’article relatif à ces obligations aborde le cas de l’identification biométrique distante a posteriori. Plus précisément dans le cadre de la recherche ciblée d’une personne soupçonné d’avoir commis une infraction pénale ou déjà condamnée pour cela. Il impose l’obtention d’une autorisation ex ante ou au plus tard dans les 48 heures. Sauf si le système d’IA concerné sert à identifier un suspect potentiel « sur la base de faits objectifs et vérifiables directement liés à l’infraction ».

Sur l’analyse d’impact sur les droits fondamentaux

Cette obligation s’applique à l’essentiel des systèmes d’IA « à haut risque ». Elle concerne les déployeurs publics ou privés fournissant des services publics. Ainsi que ceux dont les systèmes d’IA « à haut risque » servent à :

– Évaluer la solvabilité ou établir une note de crédit (exception pour la détection de fraude financière)
– Évaluer les risques et la tarification en matière d’assurance-vie et d’assurance maladie

Cette analyse d’impact n’est nécessaire que pour la première utilisation du système d’IA concerné. Les déployeurs peuvent ensuite s’appuyer sur des analyses effectuées précédemment. Ou sur des analyses qu’a réalisées le fournisseur.

Sur les organismes de certification

Lorsqu’un tel organisme décide d’arrêter ses activités d’évaluation de la conformité, les certificats qu’il a délivrés peuvent rester valables 9 mois. À condition qu’un autre organisme confirme par écrit qu’il assurera la responsabilité des systèmes d’IA concernés.

En cas de retrait de la désignation d’un organisme, la procédure est la même et le délai est d’un an.

Sur les spécifications communes

La Commission européenne peut adopter des actes d’exécution établissant de telles spécifications pour les exigences qu’impose l’AI Act. Cette possibilité lui est donnée si elle a sollicité des organisations européennes de normalisation et qu’aucune n’a acceptée. Ou si les normes harmonisées « ne répondent pas assez aux préoccupations en matière de droits fondamentaux ».

Sur l’évaluation de conformité

Un fournisseur ayant appliqué des normes européennes harmonisées (article 40) ou les spécifications communes (article 41) peuvent choisir leur procédure d’évaluation. Soit fair intervenir un organisme de certification qui évaluera doc technique et système de gestion de la qualité, soit procéder à un contrôle interne.

Le fournisseur peut aussi choisir tout organisme de certification agréé sauf si le système d’IA concerné se destine aux autorités répressives, aux services de l’immigration ou aux autorités compétentes en matière d’asile. Dans ce cas, l’autorité de surveillance du marché agit en tant qu’organisme de certification.

Les systèmes d’IA déjà soumis à cette procédure peuvent retomber sous son coup lorsqu’ils font l’objet de modifications « substantielles ».

Sur les dérogations à la procédure d’évaluation

L’AI Act permet à une autorité de surveillance du marché d’autoriser des systèmes d’IA « à haut risque » spécifiques sur le territoire d’un État membre. Ce pour « raisons exceptionnelles » ou pour assurer la protection de la vie et de la santé humaines, ou la protection d’actifs industriels et d’infrastructures d’importance majeure. La Commission européenne et tout État membre peut porter objection sous 15 jours.

Les autorités répressives ou de protection civile bénéficient aussi d’une exception. Elles peuvent obtenir une autorisation a posteriori dans des « situations d’urgence pour raisons  exceptionnelles de sécurité publique ou en cas de menace spécifique, substantielle et imminente pour la vie ou la sécurité physique des personnes physiques ».

Sur les obligations de transparence

L’AI Act pose un principe d’information des personnes physiques en cas d’interaction directe avec un système d’IA.

Ce principe implique notamment le marquage des contenus de synthèse (audio, image, vidéo, texte) dans un format lisible par machine et afin qu’ils soient identifiables comme ayant été générés ou manipulés par une IA. Cela ne s’applique pas si les systèmes concernés remplissent une fonction d’assistance pour la mise en forme standard. Ou s’ils ne modifient pas de manière substantielle les données d’entrée ou leur sémantique.

De même, pour les deepfakes, l’obligation de marquage ne s’applique pas si le contnu fait partie d’une œuvre ou d’un programme « manifestement artistique, créatif, satirique, fictif ou analogue ». La divulgation ne doit, en tout cas, pas entraver l’affichage ou la jouissance de l’œuvre.

Autre exception, pour les textes générés dans le but d’informer le public. Condition : qu’il y ait eu un processus d’examen humain ou de contrôle éditorial avec prise de responsabilité par une personne physique ou morale.

Sur le risque systémique des modèles d’IA à usage général

Des modèles peuvent entrer dans cette catégorie s’ils disposent de « capacités à fort impact ». Pour définir cette notion, l’AI Act considère un seuil de puissance de calcul utilisée pour l’entraînement : 10²⁵ flops. Une valeur que la Commission européenne peut modifier par acte délégué.

Autre possibilité pour qu’un modèle entre dans cette catégorie : une décision de la Commission. D’office ou à la suite d’une alerte du groupe d’experts scientifiques indépendants que l’AI Act institue (article 68).

Sur les obligations des fournisseurs de modèles d’IA à usage général

Ces obligations consistent essentiellement en de la documentation, y compris à l’usage du public. Elles ne s’applique pas aux modèles fournis dans le cadre d’une licence libre et ouverte. À condition que :

– Cette licence permette de consulter, d’utiliser, de modifier et de distribuer le modèle
– Les paramètres (y compris les poids), les informations sur l’architecture et sur l’utilisation soient rendus publics
– Le modèle ne présente pas de risque systémique

Sur les bacs à sable

Ces environnements doivent faciliter le développement, la mise à l’essai et la validation de systèmes d’IA.

L’AI Act donne la possibilité d’y exploiter des données à caractère personnel. Uniquement pour les modèles destiné la préservation des intérêts publics importants par une autorité publique ou une autre personne physique ou morale dans les domaines suivants ;

– Sécurité publique et santé publique
– Protection de l’environnement,
– Durabilité énergétique
– Sécurité et résilience des systèmes de transport et de la mobilité, des infrastructures critiques et des réseaux de transport
– Efficacité et qualité de l’administration publique et des services publics

Le tout s’il est impossible de faire avec des données synthétiques ou anonymisées.

Sur les essais en conditions réelles

L’AI Act autorise cette pratique pour les systèmes d’IA « à haut risque » listés à l’annexe III. Les éléments détaillés du plan d’essais font l’objet d’actes d’exécution après validation par l’autorité de surveillance du marché dans l’État membre concerné.

Les essais ne doivent pas durer plus de 6 mois. Ils nécessitent le consentement éclairé des participants, sauf dans le cas de services répressifs.

Sur le groupe scientifique d’experts indépendants

La Commission européenne peut constituer cet organe destiné à soutenir le contrôle de l’application du règlement. Ses membres seront « indépendants vis-à-vis de tout fournisseur de système d’IA ou de modèle d’IA à usage général ».

L »AI Act ouvre la porte à la rémunération de ces experts. Les États membres peuvent effectivement « être tenus de payer des honoraires » pour les conseils et le soutien. Des actes d’exécution définiront le barème.

Sur la surveillance du marché

Les autorités ayant cette mission peuvent demander l’accès au code source d’un système d’IA « à haut risque ». À condition que cela soit nécessaire pour évaluer la conformité. Et que les procédures d’essai ou d’audit, comme les vérifications fondées sur les données et la documentation technique, se soient révélées insuffisantes.

Sur les sanctions

La mise sur le marché d’un système d’IA interdit peut valoir une amende équivalant à 35 M€ ou à 7 % du CA annuel.

Une violation des autres dispositions de l’AI Act peut valoir une amende de 15 M€ ou 3 % du chiffre d’affaires.

La fourniture d’informations inexactes, incomplètes ou trompeuse peut valoir une amende de 7,5 M€ ou 1 % du CA.

On retient, dans ces trois cas, le chiffre le plus élevé. Ou, au contraire, le plus faible s’il s’agit d’une PME ou d’une start-up.

Le plafond est à 15 M€ / 3 % du CA pour les fournisseurs de modèles d’IA à usage général.

Sur la rétroactivité de l’AI Act

L’AI Act impose la mise en conformité de certains systèmes d’IA déjà sur le marché. En premier lieu, ceux qui composent les SI européens suivants :

– SI Schengen
– SI sur les visas
– Eurodac
– Système d’entrée/de sortie (gestion des déplacements de ressortissants de pays tiers)
– Système européen d’information et d’autorisation concernant les voyages
– SI sur les casiers judiciaires des ressortissants de pays tiers et des apatrides

Devra y être mis à jour tout système d’IA mis sur le marché dans les 36 mois ayant précédé l’entrée en vigueur du règlement. Date butoir : le 31 décembre 2030.

Hors de ce périmètre, l’AI Act s’applique aux opérateurs de systèmes d’IA « à haut risque » mis sur le marché ou en service dans les 24 mois ayant précédé l’entrée en vigueur du règlement. Uniquement, toutefois, si sur cette période, sont intervenues « d’importantes modification de leurs conceptions ». Délai de mise en conformité : 6 ans si les destinataires sont des autorités publiques.

Les fournisseurs de modèles d’IA à usage général ont quant à eux 36 mois pour se mettre en conformité si leur modèle est sur le marché depuis moins d’un an à l’entrée en vigueur de l’AI Act.

Illustration © alexlmk – Adobe Stock