Pratiques interdites en matières d’intelligence artificielle | Règlement (UE) 2024/1689

L’utilisation de systèmes d’intelligence artificielle (IA) classés comme étant à haut risque peut, dans certains cas, être considérée comme une pratique interdite.

Pour que la pratique soit interdite, il est impératif que toutes les conditions des interdictions prévues à l’article 5 de la loi sur l’IA sont remplies.

À l’inverse, la plupart des systèmes d’IA qui font l’objet d’une exception à une interdiction visée à l’article 5 de la loi sur l’IA seront considérés comme des systèmes à haut risque. Même si un système d’IA n’est pas interdit par la loi sur l’IA, son utilisation peut être interdite ou illégale en vertu d’autres dispositions du droit primaire ou secondaire de l’Union.

Le règlement (UE) 2024/1689 du Parlement européen et du Conseil du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle, premier acte législatif sur l’intelligence artificielle (IA), est paru au Journal officiel de l’Union européenne (JOUE) du 12 juillet 2024.

Article 5(1)(A) et (B) RIA – Manipulation, tromperie et exploitation préjudiciales

L’objectif : Protéger le droit à la dignité humaine, qui inclut l’autonomie individuelle des personnes et des personnes vulnérables.

Article 5(1)(A) AI Act : « Techniques subliminales, délibérément manipulatrices ou trompeuses, qui sont significativement nuisibles et influencent matériellement le comportement de personnes physiques ou de groupe(s) de personnes ».

L’interdiction prévue à l’article 5 (1)(a) du RIA se focalise sur la nature des techniques, le type d’influence et son impact.

1. Cela concerne la mise sur le marché, la mise en service ou l’utilisation du système d’IA.
2. Le système d’IA doit déployer des techniques subliminales, délibérément manipulatrices ou trompeuses :
   1. Les techniques subliminales sont capables d’influencer les décisions d’une personne sans qu’elle en soit consciente :
      • En particulier, les techniques subliminales peuvent utiliser des stimuli diffusés par le biais de supports audio, visuels ou tactiles qui sont trop brefs ou subtils pour être remarqués ou détectés par les sens humains et qui sont traditionnellement connus et interdits dans d’autres secteurs, tels que la publicité dans les médias : Ex. Images intégrées, mauvaise de l’attention vers certains contenus, manipulation de la perception du temps.
      • Les applications des interfaces machine-cerveau et les techniques avancées telles que le piratage des rêves et les logiciels espions cérébraux ne sont pas interdits en général si elles sont conçues de manière sûre et respectueuse de la vie privée et de l’autonomie individuelle, mais seulement en cas de manipulation subliminale nuisible.
   2. Les techniques délibérément manipulatrices : Les techniques de manipulation sont généralement conçues pour exploiter les biais cognitifs, les vulnérabilités psychologiques ou les facteurs situationnels qui font que les individus sont influencés ou poussés à adopter un comportement et à prendre des décisions qu’ils n’auraient normalement pas prises, au point de porter atteinte à leur autonomie individuelle ou à leur libre choix.Le système d’IA peut aussi déployer de telles techniques de manipulation, bien qu’il n’ait pas été conçu ou utilisé à cette fin. Ex. s’il a été entrainé sur des données qui contiennent de nombreux exemples de techniques de manipulation. Par contre, si le comportement manipulateur du système est simplement fortuit, le système ne doit pas être considéré comme déployant des techniques de manipulation à dessein (pour autant que le fournisseur ait pris des mesures de prévention et d’atténuation appropriées).
   3. Les techniques trompeuses : Elles impliquent la présentation d’informations fausses ou trompeuses ayant pour objectif ou pour effet de tromper les individus et d’influencer leur comportement d’une manière qui porte atteinte à leur autonomie, à leur prise de décision et à leur liberté de choix. L’effet se caractérise par le fait qu’il ne se serait pas produit si les personnes n’avaient pas été exposées à l’interaction avec le système d’IA ou au contenu trompeur généré par l’IA.La combinaison de techniques peut créer une boucle de rétroaction dans laquelle les individus sont moins susceptibles de remettre en question ou d’évaluer de manière critique les informations reçues. L’interdiction peut également s’appliquer aux systèmes d’IA qui trompent les individus sans qu’il y ait une intention de le faire. Ex. Un système d’IA génératif qui hallucine.
3. Les techniques doivent avoir pour objectif ou pour effet de fausser matériellement le comportement d’une personne ou d’un groupe de personnes. L’interdiction couvre les techniques qui ont « pour objectifs » mais aussi les pratiques qui ont « pour effet » de provoquer une distorsion matérielle. Cela va au-delà des impacts mineurs ou négligeables. Il s’agit de techniques capables d’influencer le comportement des personnes d’une manière qui altère sensiblement leur capacité à prendre une décision en connaissance de cause, les amenant ainsi à se comporter d’une manière ou à prendre une décision qu’elles n’auraient pas prise autrement.Analyse au cas par cas. Des cas particuliers peuvent également être examinés du point de vue d’individus spécifiques en évaluant l’impact sur leur autonomie individuelle dans des cas concrets. Il faut qu’il existe un lien de causalité plausible/raisonnablement probable entre la technique subliminale, délibérément manipulatrice ou trompeuse déployée par le système d’IA et ses effets sur le comportement. Il n’est pas nécessaire que ces effets se soient pleinement matérialisés, mais il doit y avoir suffisamment d’indications qu’ils sont susceptibles ou capables de se matérialiser.
4. Le comportement déformé doit causer ou être raisonnablement susceptible de causer un dommage important à cette personne, à une autre personne ou à un groupe de personnes.
   1. Il peut s’agir de dommages physiques, psychologiques, financiers et économiques qui peuvent, dans certains cas, être associés à des préjudices sociétaux plus larges.Les dommages physiques englobent toute atteinte à la vie ou à la santé d’une personne, ainsi que les dommages matériels causés à des biens, et ont, dans de nombreux cas, des conséquences immédiates, graves et irréversibles. Par exemple, un chatbot d’IA incitant les utilisateurs à s’automutiler ou à se suicider, ou encore à nuire à d’autres personnes ou groupes de personnes en promouvant des contenus terroristes ou en incitant à la violence à l’encontre de certaines personnes ou groupes de personnes (par exemple, les minorités).Les dommages psychologiques nécessitent une évaluation au cas par cas, en particulier pour déterminer leur gravité, par exemple une application de compagnonnage d’IA conçue pour imiter les modèles de discours, les comportements et les émotions humains utilise des caractéristiques anthropomorphiques et des indices émotionnels pour influencer les sentiments, les dispositions et les opinions des utilisateurs, rendant ces derniers émotionnellement dépendants du service, encourageant un comportement de type addictif et pouvant causer des dommages importants, tels que des comportements suicidaires et des risques de nuire à d’autres personnes.Les préjudices financiers et économiques peuvent englober une série d’effets négatifs, notamment la perte financière, l’exclusion financière et l’instabilité économique. Il est essentiel de comprendre la combinaison des dommages pour en évaluer efficacement l’importance. Ex. le harcèlement par l’IA peut entraîner une détresse psychologique et des manifestations physiques de stress, telles que l’insomnie, une détérioration de la santé physique ou un affaiblissement du système immunitaire.
   2. L’interdiction ne s’applique que si le préjudice causé par les techniques subliminales, de manipulation et de tromperie est « important », c’est-à-dire s’il a des répercussions négatives importantes sur la santé ou sur les intérêts financiers et économiques de personnes et de groupes de personnes.NB. Dans de nombreux cas ce seuil ne sera pas atteint même en présence de techniques subliminales, délibérément manipulatrices ou trompeuses.
      Les considérations suivantes pourraient être prises en compte lors de l’évaluation de ce qui constitue un préjudice important :
      • La gravité des dommages en fonction des interdépendances du système d’IA, de la combinaison de divers types de dommages et des effets néfastes sur les individus ou les groupes de personnes
      • Le contexte spécifique
      • L’étendue du dommage et l’intensité des effets négatifs
      • La vulnérabilité des personnes affectées: Selon qu’il s’agit de personnes vulnérables ou pas, le dommage pourra être considéré comme acceptable ou pas
      • La durée et la réversibilité : Les effets à court terme et réversibles peuvent être considérés comme moins importants et rendre le dommage acceptable, à moins qu’ils ne se produisent fréquemment.
   3. Lien de causalité et seuil de probabilité raisonnable du préjudice.
      Il doit exister un lien de causalité plausible/raisonnablement probable entre la technique de manipulation ou de tromperie susceptible de fausser le comportement de la personne en portant atteinte à sa liberté de choix et le préjudice potentiel important.Il est particulièrement important d’évaluer :
      • Si le fournisseur ou le déployeur du système d’IA aurait pu raisonnablement prévoir le préjudice important qui est raisonnablement susceptible de résulter des techniques déployées
      • Et s’ils ont mis en œuvre des mesures de prévention et d’atténuation appropriées pour éviter ou atténuer le risque de tels préjudices importants.

Quelles devraient être les mesures d’atténuation appropriées ?

• • • Transparence sur le fonctionnement du système d’IA, ses capacités et ses limites, sur toutes informations pertinentes permettant de prendre des décisions en connaissance de cause
    • Respect de l’autonomie individuelle
    • Respect de la législation applicable
    • Respect de l’état de l’art et de standards.

ARTICLE 5(1)(B) RIA – Systèmes d’IA qui « exploitent les vulnérabilités dues à l’âge, au handicap ou à une situation socio-économique particulière »

Ici, le focus est mis sur les personnes particulièrement vulnérables. Les conditions suivantes doivent toutes être remplies.

1. Cela concerne la mise sur le marché, la mise en service ou l’utilisation de SIA
2. Exploitation des vulnérabilités dues à l’âge, un handicap ou une situation socio-économique particulière 

Que faut-il entendre par « Vulnérabilités » ? vulnérabilités cognitives, émotionnelles, physiques et autres qui peuvent affecter la capacité d’une personne ou d’un groupe de personnes à prendre des décisions éclairées ou à influencer leur comportement d’une manière ou d’une autre.

• l’ interdiction de l’article 5 (1) (b)ne couvre que les vulnérabilités définis par l’âge, le handicap ou une situation socio-économique spécifique (ex. alcoolisme, toxicomanie…).

L’âge : Les jeunes (personnes âgées de moins de 18 ans) et les personnes âgées.

L’interdiction ne vise que les pratiques d’exploitation et de dépendance qui nuisent gravement aux enfants : Les jouets, jeux, applications d’apprentissage ou autres applications utilisant l’IA et susceptibles d’apporter des avantages ne sont pas concernés.

Les personnes âgées peuvent souffrir de capacités cognitives réduites et avoir du mal à maîtriser les complexités des technologies de l’IA.

Les assistants personnels, les applications de santé et les robots d’assistance en général qui peuvent apporter des avantages ne sont pas concernés.

Le handicap : Déficiences physiques, mentales, intellectuelles et sensorielles à long terme. Les applications d’IA qui ne sont pas conçues de manière accessible ne sont pas concernées car elles ne ciblent pas spécifiquement les vulnérabilités des personnes.

Situation socio-économique spécifique : La catégorie vise à couvrir, en principe, des caractéristiques relativement stables et à long terme. Ex.

• Personnes vivant dans l’extrême pauvreté
• Minorités ethniques ou religieuses.

Cela peut aussi concerner des circonstances transitoires :

• Chômage temporaire
• Surendettement ou statut migratoire.

Il convient d’examiner la pertinence des indicateurs liés aux motifs de discrimination protégés par la législation de l’Union en matière d’égalité, tels que l’origine raciale, l’appartenance ethnique, la nationalité ou la religion.

• L’interdiction vise uniquement les personnes ou groupes de personnes vulnérables

L’interdiction ne s’applique pas aux systèmes d’IA qui ciblent les consommateurs sur la base de variables qui ne sont pas directement liées à des groupes vulnérables telles que :

• La marque et le modèle de téléphone d’une personne
• La ville dans laquelle vit la personne, la fréquence et le lieu de ses déplacements, etc.

3. Les systèmes d’IA doivent avoir pour objectif ou effet de fausser matériellement le comportement

Cela implique un impact substantiel, plutôt qu’un impact mineur. Il n’est pas nécessaire d’avoir une intention. Contrairement à l’article 5 (1) (a) de la loi sur l’IA, il n’est pas nécessaire d’« altérer sensiblement la capacité de prendre une décision en connaissance de cause ».

4. Les systèmes d’IA doivent être raisonnablement susceptibles de causer un préjudice important

Ce qui peut être considéré comme un risque acceptable de préjudice pour certaines personnes représente souvent un préjudice inacceptable pour des personnes vulnérables.

Ex. Un système d’IA simulant des réactions émotionnelles humaines dans ses interactions avec les enfants peut exploiter les vulnérabilités des enfants pour générer un attachement émotionnel malsain, peut entraver leur développement social et émotionnel normal, leurs relations avec des êtres humains et leurs compétences socio-émotionnelles telles que l’empathie, la régulation émotionnelle, la compréhension sociale et la capacité d’adaptation.

Ex. un système d’IA qui exploite les vulnérabilités cognitives réduites des personnes âgées pour les amener à choisir des traitements médicaux coûteux, des polices d’assurance inutiles ou des plans d’investissement trompeurs peut entraîner une perte importante d’épargne, un endettement accru et une détresse émotionnelle.

Certaines pratiques de tarification différentielle basées sur l’IA dans des services clés tels que l’assurance, qui exploitent la situation socio-économique spécifique et proposent des prix plus élevés aux consommateurs à faible revenu, augmentent leur vulnérabilité.

Il faut aussi prendre en compte les préjudices qui affectent d’autres personnes, même si elles ne sont pas directement touchées par le système. Ex. Un chatbot ciblant certains groupes socio-économiques vulnérables avec des informations erronées ou des discours de haine peut conduire à la polarisation sociale et à la radicalisation, et éventuellement déclencher la violence et entrainer des blessures et des décès chez d’autres personnes.

Interaction entre les interdictions de l’article 5(1)(a) et 5(1) (b) du RIA :

Dans le cas où les deux dispositions semblent applicables, le critère principal de différenciation devrait être l’aspect dominant de l’exploitation. Si l’exploitation s’applique indépendamment des vulnérabilités spécifiques des personnes concernées (du fait de leur âge, handicap ou situation socio-économique), l’article 5 (1)(a) du RIA doit prévaloir.

L’article 5 (1) (a) et (b) ne s’applique pas dans les cas suivants : 

• Persuasion légale

Dans la plupart des cas la manipulation relève de techniques secrètes minant l’autonomie, amenant les individus à prendre des décisions qu’ils n’auraient pas prises s’ils avaient été pleinement conscients.

En revanche, la persuasion opère dans les limites de la transparence et du respect de l’autonomie individuelle. La manipulation a souvent pour but d’avantager le manipulateur au détriment de l’autonomie et du bien-être de l’individu.

Tandis que la persuasion vise à informer et à convaincre, en alignant les intérêts et les avantages des deux parties. Deux éléments à prendre en compte :

• Le consentement joue un rôle important dans certains cas,
• Le respect des cadres juridiques et réglementaires.

Les interdictions prévues à l’article 5 (1) (a) et (b) n’affectent pas les pratiques licites dans le contexte des traitements médicaux sous certaines conditions.

• Techniques ou pratiques qui ne sont pas considérés comme une exploitation des vulnérabilités au sens de l’article 5 (a) et (b :

Exemples :

• Les systèmes d’IA qui aident les enfants dans leur apprentissage et dans les jeux
• Les systèmes d’IA qui aident les personnes âgées dans leur vie quotidienne et améliorent leur santé et leur traitement médical, tels que les assistants personnels ou les robots d’assistance, ou qui améliorent leurs compétences numériques
• Les systèmes d’IA qui soutiennent l’intégration des personnes défavorisées dans la société, améliorent leurs compétences, etc…
• Les systèmes d’IA qui apportent un soutien aux personnes malvoyantes ou malentendantes
• Les systèmes d’IA qui aident les personnes handicapées dans leur vie quotidienne…
• Les systèmes d’IA qui détectent la somnolence et la fatigue chez les conducteurs et les alertent pour qu’ils se reposent conformément aux lois sur la sécurité.
• Les pratiques commerciales courantes et légitimes, telles que la publicité, ne sont pas « en elles-mêmes » des pratiques manipulatrices, trompeuses ou d’exploitation de l’IA.
• Les techniques publicitaires qui utilisent l’IA pour personnaliser le contenu en fonction des préférences de l’utilisateur ne sont pas « en elles-mêmes » manipulatrices si elles ne déploient pas de techniques subliminales, délibérément manipulatrices ou trompeuses qui subvertissent l’autonomie individuelle ou n’exploitent pas les vulnérabilités de manière préjudiciable.

Le respect du RGPD, de la loi sur la protection des consommateurs et du règlement (UE) 2022/2065 (« DSA ») contribue à atténuer les risques liés à ces SIA.

• Les systèmes d’IA utilisés pour fournir des services bancaires, tels que des prêts, qui utilisent l’âge ou la situation socio-économique spécifique du client comme donnée d’entrée, conformément à la législation de l’Union sur les services financiers, la protection des consommateurs, la protection des données et la non-discrimination, lorsqu’ils sont conçus pour protéger et soutenir les personnes identifiées comme vulnérables en raison de leur âge, d’un handicap ou de circonstances socio-économiques spécifiques et qu’ils sont bénéfiques pour ces groupes, contribuant également à des services financiers plus équitables et plus durables pour ces groupes.
• Les systèmes d’IA manipulateurs, trompeurs et exploitants qui ne sont pas susceptibles de causer un préjudice important sont en principe exclus du champ d’application des interdictions.

ARTICLE 5(1)(C) RIA – Scoring social

L’interdiction n’est pas destinée à affecter les pratiques licites qui évaluent les personnes à des fins spécifiques légitimes et conformes au droit de l’Union et au droit national.

Toutes les ces conditions suivantes doivent être remplies :

1. Il doit s’agir de la ‘mise sur le marché’, la ‘mise en service’ ou ‘l’utilisation’ d’un système d’IA
2. Cela doit concerner un ‘Scoring social’, à savoir l’évaluation ou la classification basée sur le comportement social ou les caractéristiques personnelles ou de la personnalité pendant une certaine période :

• Evaluation ou classification des personnes physiques ou de groupes de personnes

Classification sur la base de caractéristiques telles que l’âge, le sexe et la taille ne conduit pas nécessairement à une évaluation :

Le terme ‘évaluation’ est lié au concept de ‘profilage’. Le profilage est l’utilisation d’informations sur une personne (ou un groupe de personnes) et l’évaluation de ses caractéristiques ou de ses modes de comportement afin de la classer dans une catégorie ou un groupe, en particulier pour l’analyser et/ou réaliser des prévisions la concernant.

• L’évaluation ou la classification est basée sur des données qui s’étendent sur ‘une certaine période’

3. Les pratiques d’’évaluation’ et de ‘classification’ doivent être fondées sur le traitement de données (provenant souvent de sources multiples) en relation avec l’une ou l’autre de ces pratiques :

• • Le comportement social d’individus ou de groupes de personnes, ou
  • Leurs caractéristiques personnelles et de personnalité connues, déduites ou prédites, ou les deux :
  • ‘Caractéristiques connues’, basées sur des données d’entrée qui sont, dans la plupart des cas, des informations vérifiables
  • ‘Caractéristiques déduites’, basées sur des informations déduites d’autres informations, généralement par un système d’IA
  • ‘Caractéristiques prédites’, estimées sur la base de la reconnaissance de modèles avec une précision inférieure à 100 %.

4. Le scoring social doit entrainer un traitement préjudiciable ou défavorable dans des contextes sociaux sans lien et/ou aboutir à un traitement injustifié ou disproportionné par rapport à la gravité du comportement social

1. Il faut un lien de causalité entre le score social et le traitement préjudiciable ou défavorable :

• Le traitement doit être la conséquence du scoring et le scoring la cause du traitement.
• Il n’est pas nécessaire que l’évaluation ou la classification effectuée soit la seule cause du traitement préjudiciable ou défavorable.
• Il n’est pas nécessaire que ce soit la même organisation qui produise le scoring et qui l’utilise.

1. L’utilisation du scoring social doit entraîner (ou être susceptible d’entraîner) un traitement préjudiciable ou défavorable :

• Un ‘Traitement défavorable’signifie qu’en raison du scoring, la personne ou le groupe de personnes soit traité de manière moins favorable que d’autres, sans qu’un préjudice ou un dommage particulier ne soit nécessaire
• Un ‘Traitement préjudiciable’ exige que la personne ou le groupe de personnes subisse certains dommages et préjudices du fait du traitement.

Un traitement défavorable ou préjudiciable peut être discriminatoire et interdit par la législation européenne, mais ce n’est pas une condition nécessaire pour que l’interdiction s’applique.

1. Le traitement préjudiciable ou défavorable doit relever d’un ou plusieurs contextes sociaux sans rapport avec les contextes dans lesquels les données ont été initialement générées ou collectées, ou doit être injustifié ou disproportionné par rapport au comportement social :

L’évaluation du caractère disproportionné du traitement se fait au cas par cas, en tenant compte des considérations éthiques générales et des principes d’équité et de justice sociale.

1. En principe, l’interdiction de l’article 5 (1) (c) ne s’applique pas si les conditions suivantes sont remplies, à savoir :
   • La collecte des données personnelles utilisées pour le scoring n’est pas interdite,
   • Tout traitement préjudiciable ou défavorable résultant de l’utilisation du score est justifié et proportionné à la gravité du comportement social
   • Le traitement est conforme au droit de l’UE (RGPD, protection des consommateurs, discrimination, LCB-FT…).

Cela concerne les cas suivants :

• Scoring des personnes morales,
• Scoring individuel des utilisateurs pour évaluer la qualité d’un service i.e. l’agrégation de notes humaines individuelles qui n’impliquent pas nécessairement l’IA
• Scoring des personnes physiques effectué dans un but précis, conformément au droit de l’Union et au droit national », tel que :
• L’évaluation des risques crédit et le scoring de risques par les entreprises du secteur financier et de l’assurance.
• L’amélioration de la qualité et de l’efficacité des services,
• L’amélioration de l’efficacité du traitement des plaintes,
• La réalisation d’évaluations spécifiques des employés,
• La prévention et la détection des fraudes,
• Le respect de la loi et pour des raisons de sécurité sur les plateformes en ligne.

Exemples de pratiques légitimes du scoring :

• Les systèmes de notation de crédit ou d’évaluation de solvabilité financière des créanciers et agences de notation basés sur les revenus et les dépenses du client et d’autres donnée financières et économiques
• Évaluation des clients pour fraude financière basée sur des données pertinentes telles que l’historique des transactions et les métadonnées dans le contexte des services, les antécédents etc…
• Les dispositifs télématiques de détection d’excès de vitesse ou de conduite dangereuses utilisés par des assureurs pour déterminer les tarifs d’un assuré si l’augmentation de la prime est proportionnelle au comportement à risque du conducteur.
• La publicité ciblée basée lorsqu’elle est basée sur des données pertinentes (par exemple, les préférences des utilisateurs) et qu’elle n’entraîne pas une différenciation des prix abusive et injuste.
• Le scoring par une plateforme d’achat en ligne qui offre des privilèges aux utilisateurs en fonction de leur historique d’achat et du faible taux de retour de produits.
• L’évaluation et le scoring des individus par la police et d’autres autorités chargées du maintien de l’ordre public lorsque ces données sont pertinentes pour la prévention, la détection, la poursuite et la sanction d’infractions pénales.

ARTICLE 5(1)(D) RIA – L’évaluation des risques individuels et la prédiction des infractions pénales

Les conditions suivantes doivent toutes être remplies pour que l’interdiction s’applique :

1. La ‘mise sur le marché’, la ‘mise en service’ à cette fin spécifique ou ‘l’utilisation’ d’un système d’IA ;
2. Pour évaluer le risque ou prévoir la probabilité qu’une personne commette un délit
3. Uniquement sur la base du profilage d’une personne physique,
4. Ou uniquement à partir de l’évaluation de ses traits de personnalité et de ses caractéristiques (ex. nationalité, lieu de naissance, lieu de résidence, nombre d’enfants, niveau d’endettement ou le type de voiture).

Hors périmètre de l’interdiction de l’article 5 (1) (d) : 

• Les systèmes d’IA destinés à soutenir l’évaluation humaine fondée sur des faits objectifs et vérifiables directement liés à une activité criminelle. Le système sera classé comme un système d’IA à haut risque.

Exemple : Un établissement bancaire a l’obligation, en vertu de la législation anti-blanchiment de l’UE, de filtrer et faire le profilage de ses clients. Si la banque utilise un système d’IA pour remplir ses obligations, elle ne doit le faire que sur la base des données spécifiées dans cette législation, qui sont objectives et vérifiables. De plus, les prédictions doivent également faire l’objet d’une évaluation et d’une vérification humaines.

• Cas où les parties privées n’ont pas été chargées par la loi de certaines tâches répressives spécifiques ou d’agir au nom des autorités répressives, tels que :
• L’utilisation de systèmes d’IA par des entités privées pour effectuer des évaluations de risques de commission d’infractions pénales à titre accidentel et secondaire dans le cadre de leurs activités ordinaires et dans le but de protéger leurs propres intérêts privés.
• Lorsqu’une entité privée établit le profil de ses clients dans le cadre de ses activités commerciales régulières et de sa sécurité ou pour détecter des irrégularités financières sans avoir pour objectif d’évaluer ou de prédire le risque que le client commette une infraction pénale spécifique.
• Les SIA utilisés pour les objectifs suivants :
• La prévision de la criminalité basée sur la localisation ou la géolocalisation (en principe, ce type de maintien de l’ordre n’implique pas l’évaluation d’un individu spécifique).
• Prédire et évaluer la criminalité en relation avec des personnes morales
• Les prédictions individuelles d’infractions administratives.

ARTICLE 5(1)(E) RIA – Scraping non-cible d’images faciales

Les conditions suivantes doivent toutes être remplies pour que l’interdiction s’applique :

1. La ‘mise sur le marché’, la ‘mise en service’ à cette fin spécifique ou ‘l’utilisation’ d’un système d’IA
2. Systèmes d’IA utilisés pour créer ou développer des bases de données de reconnaissance faciale :

Le terme « base de données » doit s’entendre comme toute collecte de données ou d’informations spécialement organisées pour permettre à un ordinateur de les rechercher et de les extraire rapidement. Une base de données de reconnaissance faciale est capable de faire correspondre un visage humain provenant d’une image numérique ou d’une vidéo à une base de données de visages, de le comparer aux images de la base de données et de déterminer s’il existe une correspondance probable entre les deux.

Une base de données de reconnaissance faciale peut être temporaire, centralisée ou décentralisée.

3. Utilisation de scraping non-ciblé d’images faciales

Le terme « non ciblé » signifie qu’on ne se concentre pas spécifiquement sur un individu ou un groupe d’individus donné et qu’on fait référence à une technique q ui consiste à aspirer autant de données que possible,

Le « scraping » fait généralement référence à l’utilisation de robots d’indexation, de bots ou d’autres moyens pour extraire automatiquement des données ou du contenu à partir de différentes sources (vidéosurveillance, sites web, réseaux sociaux…).

4. La source des images faciales peut être l’internet ou des images de vidéosurveillance

Les exemples suivants ne relèvent pas de l’interdiction de l’article 5 (1) (e) :

• Scraping utilisé pour trouver un criminel spécifique ou pour identifier un groupe de victimes
• Scraping non ciblé de données biométriques autres que des images faciales (ex. voix).
• Scraping sans système d’IA
• Bases de données d’images faciales qui ne sont pas utilisées pour la reconnaissance de personnes. Ex. pour l’entraînement ou des tests de modèles d’IA, lorsque les personnes ne sont pas identifiées.
• Scraping de grandes quantités de données d’images faciales sur l’internet pour construire des modèles d’IA qui génèrent de nouvelles images sur des personnes fictives. Par contre ces systèmes d’IA pourraient être soumis aux exigences de transparence de l’article 50 RIA.

Les bases de données faciales constituées avant l’entrée en vigueur de l’interdiction et qui n’ont pas été enrichies par le biais d’un « scraping » non ciblé utilisant l’IA, doivent néanmoins être conformes aux règles de l’UE sur la protection des données.

ARTICLE 5(1)(F) RIA reconnaissance des émotions 

Cette technologie est également appelée ‘technologie de l’affect’.

Exemples d’application :

• Relation client : analyse du comportement, publicité ciblée et neuromarketing ;
• Industrie du spectacle : recommandations personnalisées, prédiction de réactions aux films ;
• Secteur de la santé : détection de la dépression, prévention du suicide ou détection de l’autisme ;
• Secteur de l’éducation, surveillance de l’attention ou de l’engagement des apprenants (élèves et étudiants quel que soit leur âge) ;
• Secteur de l’emploi : recrutement, surveillance des émotions ou de l’ennui des employés, applications de bien-être pour « rendre les travailleurs plus heureux ».
• Maintien de l’ordre et sécurité publique lors d’évènements : détecteurs de mensonges ou passage au crible des émotions.

Les conditions suivantes doivent toutes être remplies pour que l’interdiction s’applique :

1. La ‘mise sur le marché’, la ‘mise en service’ à cette fin spécifique ou ‘l’utilisation’ d’un système d’IA
2. Système IA pour déduire les émotions d’une personne physique :

L’interdiction couvre les systèmes d’IA « permettant d’identifier ou de déduire des émotions », mais cela doit s’entendre comme couvrant les systèmes de « reconnaissance » des émotions. Le concept d’émotions ou intentions doit être compris au sens large.

Exemples d’émotions : « le bonheur, la tristesse, la colère, la surprise, le dégoût, l’embarras, l’excitation, la honte, le mépris, la satisfaction et l’amusement ».

Conclure qu’une personne est heureuse triste ou en colère (par exemple, à partir de gestes corporels, d’un froncement de sourcils de la voix ou de l’absence de sourire) relève de la reconnaissance des émotions.

Les exemples suivants ne sont pas des émotions :

• Déterminer si une personne est malade
• L’utilisation par une chaîne de télévision d’un système permettant de suivre combien de fois ses présentateurs sourient à la caméra
• La reconnaissance des émotions ne concerne pas les états physiques tels que la douleur ou la fatigue : ex. systèmes pour déduire la fatigue d’un pilote professionnel ou d’un conducteur afin de l’alerter et de lui suggérer de freiner

3. Les systèmes de reconnaissance des émotions doivent se baser sur des données biométriques:
4. La biométrie physiologique utilise des attributs physiques, structurels et relativement statiques d’une personne, tels que ses empreintes digitales, le dessin de son iris, les contours de son visage ou la géométrie des veines de ses mains, l’ADN ou l’odeur.
5. La biométrie comportementale surveille les caractéristiques distinctives des mouvements, des gestes et des capacités motrices des individus lorsqu’ils effectuent des tâches. Les mouvements humains, tels que la marche (analyse de la démarche) ou le contact des doigts avec un clavier (frappe), sont saisis et analysés. La biométrie comportementale englobe une variété de modalités qui présentent des mouvements répétés volontaires et involontaires et des rythmes/pressions associés de caractéristiques corporelles allant de la signature, la démarche, la voix et de la frappe au suivi des yeux et des battements cardiaques, à l’électroencéphalographie ou à l’électrocardiogramme.

Les exemples suivants n’entrent pas dans le champ d’application de l’interdition de l’article 5 (1) (f) :

• La simple détection d’expressions faciales de base, de gestes ou de mouvements facilement perceptibles, tels qu’un froncement de sourcils, un sourire, un mouvement des mains, des bras ou de la tête, ou des caractéristiques de la voix d’une personne, telles qu’une voix élevée ou un chuchotement, ne sont pas des émotions.
• La détection des émotions à partir d’un texte écrit (analyses de contenu/sentiment) pour définir le style ou le ton d’un article n’est pas basé sur des données biométriques.
• Le suivi du point de fixation des yeux et leurs mouvement (par exemple pour détecter l’utilisation de matériel non autorisé) n’identifie pas ou ne déduit pas d’émotions.
• Système d’IA permettant de capter les conversations d’étudiants entre eux via leur téléphone ou d’autres canaux pendant des cours en ligne ne déduit pas d’émotions.
• Le « contrôle des foules » pour maintenir l’ordre (public) et la sécurité des événements car cela ne concerne pas à un contrôle individuel.

4. L’interdiction ne s’applique que dans les lieux de travail et dans les établissements d’enseignement

 Lieu de travail

• Un lieu de travail correspond à tout espace physique ou virtuel spécifique où des personnes physiques exercent des tâches et des responsabilités assignées par leur employeur ou par l’organisation à laquelle elles sont affiliées dans le cas d’un travail indépendant, tel que : des bureaux intérieurs, usines et entrepôts, espaces accessibles au public comme les magasins, les stades ou les musées, les sites en plein air ou les voitures, ainsi que les sites de travail temporaires ou mobiles.
• Cela s’applique également aux candidats au cours du processus de sélection, d’embauche, aux salariés durant la période d’essai.

L’interdiction ne s’applique pas dans les cas suivants :

• Les webcams et les systèmes de reconnaissance vocale utilisés par un centre d’appel pour suivre les émotions de ses employés, à des fins de formation personnelle, sont autorisés si les résultats ne sont pas communiqués aux responsables des ressources humaines et s’ils ne peuvent pas avoir d’incidence sur l’évaluation, la promotion, les relations de travail, etc. de la personne formée.
• L’utilisation de systèmes de reconnaissance vocale par un centre d’appel pour suivre les émotions de ses clients, telles que la colère ou l’impatience, n’est pas interdite (par exemple pour aider les employés à faire face à certains clients en colère).
• L’utilisation de caméras par un supermarché ou une banque pour détecter les clients suspects, par exemple pour conclure que quelqu’un est sur le point de commettre un vol, n’est pas interdite, lorsqu’il est garanti qu’aucun employé n’est suivi et qu’il existe des garanties suffisantes.

1. Etablissement d’enseignement’

Aucune limitation concernant les types ou l’âge des élèves ou des étudiants ; Pas d’environnement d’enseignement spécifique : en ligne, en personne, en mode mixte, etc… Les établissements d’enseignement délivrent un certificat en retour de la participation. L’interdiction s’applique aussi durant la procédure d’admissibilité.

Exemple : ne concerne pas la reconnaissance des émotions pour l’apprentissage d’une langue en ligne en dehors d’un établissement d’enseignement.

5. L’interdiction ne s’applique pas aux systèmes d’IA utilisés pour raisons médicales et de sécurité

• Les utilisations thérapeutiques concernent des utilisations de dispositifs médicaux avec le marquage CE.
• Le besoin doit être explicite.
• Les données collectées et traitées dans ce contexte ne peuvent être utilisées à d’autres fins.

Exemples :

• L’évaluation du bien-être, des niveaux de motivation et de la satisfaction au travail ou à l’apprentissage ne correspondent pas à une « utilisation pour des raisons médicales ».
• Il en est de même du niveau d’anxiété à moins que le niveau de stress ne représente un danger spécifique, par exemple lors du déploiement de machines dangereuses ou de la manipulation de produits chimiques dangereux.

6. Ne concerne pas les systèmes d’IA dont l’objectif premier n’est pas d’évaluer les personnes

Ex. les robots de soins ou les systèmes qui analysent les appels d’urgence ; Utilisation d’un système d’IA de reconnaissance des émotions par un établissement d’enseignement à des fins d’apprentissage.

ARTICLE 5(1)(G) RIA :  catégorisation biométrique pour certaines caractéristiques « sensibles »

Les conditions suivantes doivent toutes être remplies pour que l’interdiction s’applique.

1. ‘Mise sur le marché’,  ‘mise en service’ ou ’utilisation’ d’un système d’IA 

2. Système de catégorisation biométrique

Processus consistant à déterminer si les données biométriques d’un individu appartiennent à un groupe présentant certaines caractéristiques prédéfinies.

La catégorisation biométrique peut s’appuyer sur :

• Des caractéristiques physiques (ex. les traits et la forme du visage, la couleur de la peau)
• L’ADN ou des aspects comportementaux, tels que l’analyse de la frappe au clavier ou la démarche d’une personne.

Pour ne pas entrer dans le champ de la définition de la catégorisation biométrique au sens du RIA, deux conditions cumulatives doivent être remplies :

• Etre « accessoire à un autre service commercial et,
• Strictement nécessaire pour des raisons techniques objectives

Par exemple, les solutions d’IA de filtres catégorisant les caractéristiques faciales ou corporelles utilisés par le commerce en ligne pour permettre à un consommateur de prévisualiser un produit sur sa personne, sont autorisées.

L’interdiction ne couvre pas l’étiquetage ou le filtrage d’ensembles de données biométriques acquis légalement, y compris à des fins d’application de la loi.

3. Les personnes doivent être classées individuellement sur la base de leurs données biométriques

Exemples de catégorisation individuelle :

• Les systèmes d’IA qui procèdent à une « estimation des attributs » (données démographiques, l’âge, le sexe, l’appartenance ethnique…), sur la base de caractéristiques corporelles telles que le visage, la taille ou la couleur de la peau, des yeux et des cheveux (ou une combinaison de ces éléments).
• Les systèmes d’IA capables de catégoriser les individus et de les distinguer sur la base d’une caractéristique spécifique (ex. une cicatrice sous l’œil droit ou un tatouage sur la main droite).

4. L’objectif doit être de déduire ou inférer la race, les opinions politiques, l’appartenance syndicale, les croyances religieuses ou philosophiques, la vie ou l’orientation sexuelle.

Cela ne couvre pas les systèmes d’IA utilisés pour étiqueter ou filtrer des ensembles de données biométriques acquises légalement, précisément pour garantir que les données représentent de manière égale tous les groupes démographiques et ne surreprésentent pas, par exemple, un groupe spécifique.

Exemple : La catégorisation des patients à l’aide d’images en fonction de la couleur de leur peau ou de leurs yeux à des fins de diagnostic médical.

ARTICLE 5(1)(H) RIA – SYSTEMES D’IDENTIFICATION BIOMETRIQUE A DISTANCE (IBD) EN TEMPS REEL DANS DES ESPACES PUBLICS A DES FINS D’APPLICATION DE LA LOI

L’utilisation des systèmes d’IBD « en temps réel » dans les espaces accessibles au public à des fins d’application de la loi n’est possible que s’il existe une loi au niveau national et si toutes les conditions suivantes doivent etre remplies : 

1. Ne concerne que l’utilisation du système
2. Il doit s’agir de système d’IBD

Les technologies d’IBD détectent, capturent et transforment des caractéristiques physiques mesurables (telles que la distance et la taille des yeux, la voix, la longueur du nez, etc.) ou comportementales.

Les technologies d’IBD permettent d‘identifier des personnes physiques, sans leur participation active, généralement à distance, grâce à la comparaison automatisée des données biométriques d’une personne avec les données biométriques contenues dans une base de données de référence.

Cela concerne :

• Les systèmes d’IA utilisés pour suivre des personnes physiques, par exemple pour voir dans quelle direction un suspect s’échappe ;
• Les systèmes de reconnaissance biométrique qui traitent (sans contact) les empreintes digitales, la démarche, la voix, l’ADN, les frappes au clavier et d’autres signaux comportementaux (biométriques).

L’interdiction ne concerne pas :

• Les systèmes d’IA de vérification biométrique (ou authentification), qui consiste à comparer les données présentées à un capteur avec un autre ensemble de données précédemment enregistrées et stockées sur un dispositif.
• L’utilisation de systèmes biométriques pour confirmer l’identité d’une personne physique dans le seul but d’avoir accès à un service ou à une zone réservée, de déverrouiller un appareil ou d’avoir un accès sécurisé à des locaux (ne sont pas « à distance »).

3. Le système doit fonctionner en temps réel

Toutes les étapes du traitement, c’est-à-dire la saisie, la comparaison et l’identification des données biométriques, se déroulent simultanément ou presque simultanément, ce qui peut inclure un « court délai limité ».

Exemple : Lorsqu’une autorité répressive prend secrètement une photo d’une personne à l’aide d’un appareil mobile et la soumet à une base de données en vue d’une recherche immédiate, selon les circonstances.

L’utilisation rétrospective de la technologie de reconnaissance faciale n’est pas interdite par le RIA. Cette utilisation est considérée comme présentant un risque élevé.

4. L’utilisation doit avoir lieu dans des espaces accessibles au public

« Tout espace physique public ou privé accessible à un nombre indéterminé de personnes physiques, indépendamment de l’application de certaines conditions d’accès et des restrictions potentielles de capacité ». Exemple : un bureau sans contrôle à l’entrée

5. Le système d’IBD est utilisé pour l’application de la loi

Cela comprend :

• La recherche, la détection et la poursuite d’infractions pénales.
• Les activités liées à la prévention des infractions pénales, y compris la protection contre les menaces pour la sécurité publique et la prévention de ces menaces, avant qu’une infraction n’ait été commise

Cette définition couvre les autorités chargées de l’application de la loi et les organismes ou entités mandatés (qui peuvent être des parties privées). La délégation de tâches à d’autres organismes peut inclure, par exemple :

• Les sociétés de transport public auxquelles les autorités répressives demandent d’assurer la sécurité sur les réseaux de transport public sous leurs instructions et leur supervision.
• Les fédérations sportives auxquelles les services répressifs demandent d’agir sous leurs instructions et leur contrôle pour assurer la sécurité lors d’événements sportifs.
• Les banques auxquelles les services répressifs demandent de mener certaines actions pour « contrer certains crimes dans des cas spécifiques » sous les instructions et la supervision des services répressifs.

1. Les entités qui détectent et luttent contre des délits (tels que la fraude, le blanchiment d’argent) pour leur propre compte, ne seront pas considérées comme tombant sous le coup de l’interdiction de l’utilisation de l’Article 5(1)(h) du RIA.

Ex. Centres commerciaux utilisant l’IBD en temps réel pour repérer les voleurs à l’étalage.

6. Les pratiques suivantes ne sont pas interdites par l’article 5 (1) (h) si l’usage du système d’IBD est strictement nécessaire à l’atteinte l’un des objectifs suivants

1. La recherche ciblée 

• Des victimes de trois infractions graves spécifiques (l’enlèvement, la traite et l’exploitation sexuelle d’êtres humains), et
• De personnes disparues: du fait de son statut juridique (« sous curatelle »), de son état de santé (maladie mentale), de l’existence d’une note suicidaire, d’un départ sans effets personnels par exemple.

1. La prévention 

• Des menaces spécifique, substantielle et imminentes pour la vie ou la sécurité physique :

Il peut s’agir d’une menace imminente pour les infrastructures critiques « lorsque l’interruption ou la destruction de ces infrastructures critiques entraînerait une menace imminente pour la vie, l’intégrité physique ou la sécurité d’une personne Ex. l’arrêt de l’approvisionnement d’électricité ou d’eau potable pendant une longue période, par un temps particulièrement chaud ou froid, etc…

Une menace imminente pour la vie ou la sécurité physique est une menace qui peut survenir à tout moment et qui exige une « action immédiate ».

Une menace importante pour la sécurité physique concerne des blessures corporelles graves.

Une menace spécifique peut être intentionnelle ou non intentionnelle.

–  Ou d’une menace réelle d’attentats terroristes [prévention] :

Il doit s’agir d’une menace réelle et actuelle ou réelle et prévisible d’un attentat terroriste, ce qui suppose que des circonstances suffisamment concrètes se soient produites

Le niveau de la menace terroriste est défini au niveau national.

Le scénario peut également couvrir l’utilisation du système d’IBD en temps réel pour détecter et suivre des « terroristes en mouvement », c’est-à-dire plusieurs personnes liées à la même menace, s’il existe des indications concrètes que ces personnes prévoient de commettre un attentat terroriste.

1. La localisation et l’identification des suspects et des auteurs de certaines infractions graves énumérées à l’annexe II [poursuites/enquêtes].

Annex II RIA prévoit une liste exhaustive des infractions graves pour lesquelles l’utilisation d’un système IBD en temps réel peut être autorisée pour l’objectif susmentionné :

• Le terrorisme,
• La traite des êtres humains,
• L’exploitation sexuelle des enfants et la pédopornographie,
• Le trafic illicite de stupéfiants ou de substances psychotropes,
• Le trafic d’armes, de munitions ou d’explosifs,
• Meurtre, lésions corporelles graves,
• Le commerce illicite d’organes ou de tissus humains
• Le trafic illicite de matières nucléaires ou radioactives,
• L’enlèvement, la séquestration ou la prise d’otage,
• Les crimes relevant de la compétence de la Cour pénale internationale,
• La capture illégale d’avions ou de navires,
• Le viol,
• Les crimes contre l’environnement,
• Le vol organisé ou à main armée,
• Sabotage,
• Participation à une organisation criminelle impliquée dans une ou plusieurs des infractions énumérées ci-dessus.

Exemple : La police n’est pas autorisée à déployer des technologies de reconnaissance faciale en temps réel de manière large et non ciblée, c’est-à-dire dans l’espoir de trouver des criminels recherchés dans un festival.

Le cas est différent si la police a reçu une description physique accompagnée d’une photographie d’un individu recherché qui fait l’objet d’un mandat d’arrêt pour trafic de stupéfiants et qu’elle a des raisons de penser qu’il sera présent au festival.

Garanties et conditions pour que les IBD puissent être utilisés en temps réel dans des espaces accessibles au public à des fins répressives pour les pratiques indiquées ci-dessus :

• La recherche doit porter sur des individus spécifiques pour lesquels les autorités ont des raisons de croire ou sont informées qu’ils sont victimes des crimes énumérés à l’article 5(1)(h)(i) ou sont impliqués dans l’un des scénarios décrits à l’article 5(1)(h)(ii) ou à l’article 5(1)(h)(iii).
• L’exception concerne la « confirmation de l’identité » : Les autorités répressives ne doivent pas nécessairement connaître l’identité des personnes qu’elles recherchent avant d’utiliser le système. Elles peuvent utiliser le système d’IBD si elles ont des informations factuelles sur la planification d’un attentat terroriste par un groupe terroriste (sans savoir qui exécutera le plan) à un moment et en un lieu précis, à condition que les services répressifs aient constitué une base de données de référence contenant les données biométriques des individus faisant partie du groupe terroriste.
• Il faut évaluer la gravité, la probabilité et l’ampleur du préjudice qui serait causé si le système n’était pas utilisé par rapport aux conséquences de l’utilisation du système sur les droits et libertés des personnes concernées (principe de proportionnalité). L’ampleur dépend notamment du nombre et des catégories de personnes affectées.

Ex. les autorités répressives n’ont pas le droit d’utiliser des systèmes de reconnaissance faciale en temps réel dans la rue, pour des raisons de sécurité générale, de prévention de la criminalité et d’affluence.

• L’utilisation en temps réel du système d’IBD doit être clairement limitée en termes de portée géographique, de durée et de personne ciblée. Il doit exister des indications que l’événement aura lieu dans le lieu où sera utilisé le système d’IBD.
• L’autorité répressive qui déploie le système d’IBD en temps réel doit réaliser une analyse d’impact sur les droits fondamentaux (AIDF).
• Le système doit être enregistré dans la base de données de l’UE.
• Sauf exception, chaque utilisation d’un système d’IBD en temps réel est soumise à une autorisation préalable. En cas d’urgence, un utilisateur peut introduire une demande d’autorisation dans les 24 heures à partir du moment où le système d’IBD en temps réel est utilisé.

Même en présence d’une autorisation, aucune décision produisant un effet juridique défavorable sur une personne ne peut être prise sur la seule base des résultats du système d’IBD en temps réel.

Toutes les autres utilisations de systèmes d’IBD qui ne sont pas couvertes par l’interdiction prévue à l’article 5(1)(h) RIA, y compris les systèmes de vérification / authentification biométriques et l’utilisation rétrospective des systèmes (post) IBD dans les espaces accessibles au public à des fins répressives, relèvent de la catégorie des systèmes d’IA à haut risque définis à l’article 6 et énumérés à l’annexe III, point 1 a), du RIA.

Ce résumé est fourni à titre gracieux et n’a pas vocation à se substituer à un conseil juridique. Nous vous invitons à vous référer au texte de la commission européenne disponible ici Commission publishes the Guidelines on prohibited artificial intelligence (AI) practices, as defined by the AI Act. | Shaping Europe’s digital future