L’impact de certains systèmes algorithmiques sur les droits fondamentaux est une préoccupation sur laquelle l’institution du Défenseur des droits a pu déjà s’exprimer par le passé. Plus récemment, l’institution a développé son expertise et ses réflexions sur cet enjeu d’avenir. Elle a appelé en mai 2020 à une mobilisation collective visant à prévenir leurs biais discriminatoires (“Algorithmes : prévenir l’automatisation des discriminations”, en collaboration avec la Cnil, 2020).
La réflexion de l’institution s’est ensuite concentrée sur les technologies biométriques. Ces techniques informatiques d’authentification, d’identification et/ou d’évaluation des individus comportent des risques parfois extrêmement importants, en particulier pour le respect de la vie privée et pour les principes d’égalité et de non-discrimination. Dans le prolongement, nous avons publié, le 6 octobre 2022, une enquête d’opinion qui montre que les Français s’estiment mal informés et réclament un renforcement du cadre juridique applicable aux technologies biométriques.
À l’heure où se multiplient ces systèmes (reconnaissance faciale et vocale, vidéos augmentées, système de reconnaissance des émotions, etc.) et où la volonté d’expérimentation grandit dans la perspective des jeux Olympiques et Paralympiques de Paris 2024, la nécessité d’un encadrement strict se fait de plus en plus pressante. La Cnil l’a déjà souligné dans sa position sur les conditions de déploiement des caméras dites “intelligentes” ou “augmentées” dans les espaces publics.
Biais et discriminations : un risque commun à l’ensemble des dispositifs algorithmiques
Conçus par des êtres humains et à partir de données reflétant des pratiques sociales, les algorithmes peuvent contenir des biais discriminatoires notamment en raison du manque de représentativité des données mobilisées. Certains systèmes de reconnaissance faciale rencontrent par exemple des difficultés pour identifier les personnes de couleur, et plus particulièrement les femmes : le stock de données sur lesquelles le modèle s’appuie est marqué par une très forte prédominance des visages masculins et blancs.
Les données intégrées aux systèmes algorithmiques peuvent plus globalement être biaisées parce qu’elles reflètent des pratiques et comportements passés et constituent donc la traduction mathématique de discriminations systémiques. C’est le cas, par exemple, des femmes, tendant à occuper certaines filières de métiers et des postes moins rémunérateurs. Sur la base de telles données, un algorithme pourrait déduire que les femmes ne sont pas aussi productives que les hommes et n’accèdent pas autant à des postes à responsabilité et venir ainsi biaiser la diffusion d’offres.
Sur l’identification biométrique : un statu quo protecteur qu’il convient de conserver
Visant à retrouver une personne au sein d’un groupe d’individus – dans un lieu, sur une image ou dans une base de données – à partir notamment des traits du visage (reconnaissance faciale) ou de la voix, les techniques d’identification les plus récentes ont pour particularité de pouvoir potentiellement s’appliquer à un nombre illimité d’individus sans qu’ils en aient même conscience.
Le cadre juridique régissant l’utilisation des technologies biométriques relève essentiellement du droit de la protection des données. Dans le cadre d’une utilisation à des fins sécuritaires, le traitement des antécédents judiciaires est à ce jour la seule forme de reconnaissance faciale autorisée à des fins d’identification pour les policiers et gendarmes. Mais ces traitements pourraient rapidement se multiplier, d’abord à des fins d’expérimentation – comme le préconise le Sénat dans son rapport d’information de mai 2022 –, avec le risque d’une pérennisation de ces pratiques à haut potentiel discriminatoire. De tels usages pourraient en effet avoir pour conséquence que certaines personnes se retrouveraient arrêtées à tort plus fréquemment en raison de leur couleur de peau.
J’ai donc recommandé d’étendre l’interdiction explicite de recourir à l’utilisation de logiciels de reconnaissance faciale appliquée aux images captées par drones aux autres dispositifs de surveillance existants (caméras-piétons, vidéosurveillance, etc.). Cette mesure paraît d’autant plus nécessaire que, selon notre enquête d’opinion, 33 % des Français hésiteraient ou renonceraient à se rendre à une manifestation si des techniques biométriques y étaient déployées par les forces de l’ordre.
Sur les technologies d’analyse comportementale : l’urgence de garantir le respect des droits fondamentaux
Aujourd’hui, certains systèmes, mal connus du grand public, permettent de mesurer la nervosité d’un candidat dans le cadre d’une procédure de recrutement, la concentration d’un étudiant, la fatigue d’un automobiliste, ou encore la dangerosité ou la propension d’une personne à commettre une infraction dans un environnement donné (par exemple, dans les supermarchés).
Échappant à la protection de l’article 9 du RGPD [le Règlement général sur la protection des données, qui fait référence au sein de l’Union européenne, ndlr] réservée aux traitements de données sensibles, ces technologies pourraient se multiplier alors qu’elles peuvent être à l’origine de discriminations. L’utilisation de dispositifs de détection des traits de personnalité d’un individu aux fins d’analyser des entretiens d’embauche automatisés peut s’avérer particulièrement discriminante pour les personnes en situation de handicap : si les caractéristiques de leur visage ou leur manière de se tenir et/ou de s’exprimer diffèrent de la norme et donc de l’écrasante majorité des données sur lesquelles les algorithmes de recrutement ont été élaborés, ces personnes risquent de ne pas voir leurs aptitudes à exercer un poste reconnues. Notre enquête d’opinion révèle que plus de la moitié des Français s’opposent à l’analyse systématique de leurs comportements, que ce soit à l’occasion d’une procédure de recrutement, à des fins de marketing ou encore pour prévenir des vols dans les magasins.
Le développement important d’outils biométriques d’évaluation aux méthodologies scientifiques non éprouvées appelle à la responsabilisation des acteurs.
Je déduis de ces éléments un besoin impérieux de garanties fortes et effectives pour s’assurer du respect des droits fondamentaux. La récente proposition de réglementation de l’intelligence artificielle de la Commission européenne et les lignes directrices du Conseil de l’Europe sur la reconnaissance faciale apportent des indications utiles sur lesquelles j’ai rendu avec mes homologues un avis en juin.
Plusieurs mesures me paraissent indispensables. Il nous faut d’abord écarter les méthodologies d’évaluation non pertinentes : le développement important d’outils biométriques d’évaluation aux méthodologies scientifiques non éprouvées appelle à la responsabilisation des acteurs. Mais aussi réaliser des études d’impact, dès la phase d’élaboration des algorithmes, pour anticiper leurs effets discriminatoires, et prévoir des audits pour assurer un contrôle régulier de leurs effets après leur déploiement. La sensibilisation des Français et la formation des professionnels sont également nécessaires : notre enquête d’opinion révèle qu’à peine plus d’un tiers des Français se sentent bien informés sur le fonctionnement ou les domaines dans lesquels interviennent les technologies biométriques. La réalité sociale des discriminations et le cadre du droit antidiscriminatoire sont également très mal connus et peu pris en compte par les experts des données et des algorithmes. Nous entendons répondre en partie à cet enjeu d’acculturation en organisant, avec le soutien du Conseil de l’Europe, une formation en ligne sur l’intelligence artificielle et les discriminations jusqu’au 16 décembre 2022.
