C’est ainsi que nous avons perdu le contrôle de nos visages

Deborah Raji, membre de l’organisation à but non lucratif Mozilla, et Genevieve Fried, qui conseille les membres du Congrès américain sur la responsabilité algorithmique, ont examiné plus de 130 ensembles de données de reconnaissance faciale compilés sur 43 ans. Ils ont constaté que les chercheurs, poussés par l’explosion des besoins en données de l’apprentissage en profondeur, ont progressivement abandonné la demande de consentement des gens. Cela a conduit de plus en plus de photos personnelles des personnes à être intégrées dans des systèmes de surveillance à leur insu.

Cela a également conduit à des ensembles de données beaucoup plus désordonnés: ils peuvent involontairement inclure des photos de mineurs, utiliser des étiquettes racistes et sexistes, ou avoir une qualité et un éclairage incohérents. Cette tendance pourrait aider à expliquer le nombre croissant de cas dans lesquels les systèmes de reconnaissance faciale ont échoué avec des conséquences troublantes, telles que les fausses arrestations de deux hommes noirs dans la région de Detroit l’année dernière.

Les gens étaient extrêmement prudents dans la collecte, la documentation et la vérification des données sur les visages au début, dit Raji. «Maintenant, nous ne nous en soucions plus. Tout cela a été abandonné », dit-elle. «Vous ne pouvez tout simplement pas suivre un million de visages. Après un certain moment, vous ne pouvez même plus prétendre avoir le contrôle.

Une histoire des données de reconnaissance faciale

Les chercheurs ont identifié quatre époques majeures de la reconnaissance faciale, chacune motivée par un désir croissant d’améliorer la technologie. La première phase, qui a duré jusqu’aux années 1990, a été en grande partie caractérisée par des méthodes manuelles intensives et lentes en calcul.

Mais ensuite, poussé par la prise de conscience que la reconnaissance faciale pouvait suivre et identifier les individus plus efficacement que les empreintes digitales, le département américain de la Défense a injecté 6,5 millions de dollars pour créer le premier ensemble de données faciales à grande échelle. Plus de 15 séances de photographie en trois ans, le projet a capturé 14 126 images de 1 199 personnes. La base de données de la technologie de reconnaissance faciale (FERET) a été publiée en 1996.

La décennie suivante a vu une augmentation de la recherche universitaire et commerciale sur la reconnaissance faciale, et de nombreux autres ensembles de données ont été créés. La grande majorité a été obtenue grâce à des séances photo comme celle de FERET et avait le plein consentement des participants. Beaucoup ont également inclus des métadonnées méticuleuses, dit Raji, telles que l’âge et l’ethnicité des sujets, ou des informations d’éclairage. Mais ces premiers systèmes ont connu des difficultés dans des contextes réels, ce qui a conduit les chercheurs à rechercher des ensembles de données plus vastes et plus diversifiés.

En 2007, la publication de l’ensemble de données Labeled Faces in the Wild (LFW) a ouvert les portes à la collecte de données via la recherche sur le Web. Les chercheurs ont commencé à télécharger des images directement à partir de Google, Flickr et Yahoo sans se soucier du consentement. LFW a également assoupli les normes relatives à l’inclusion des mineurs, en utilisant des photos trouvées avec des termes de recherche tels que «bébé», «juvénile» et «adolescent» pour accroître la diversité. Ce processus a permis de créer des ensembles de données beaucoup plus volumineux en peu de temps, mais la reconnaissance faciale était toujours confrontée aux mêmes défis qu’auparavant. Cela a poussé les chercheurs à rechercher encore plus de méthodes et de données pour surmonter les faibles performances de la technologie.

Puis, en 2014, Facebook a utilisé ses photos d’utilisateurs pour former un modèle d’apprentissage en profondeur appelé DeepFace. Bien que la société n’ait jamais publié l’ensemble de données, les performances surhumaines du système ont élevé l’apprentissage en profondeur au rang de méthode de facto d’analyse des visages. C’est à ce moment-là que la vérification manuelle et l’étiquetage sont devenus presque impossibles alors que les ensembles de données atteignaient des dizaines de millions de photos, dit Raji. C’est aussi quand des phénomènes vraiment étranges commencent à apparaître, comme des étiquettes générées automatiquement qui incluent une terminologie offensive.