Les algorithmes de génération de langage sont connus pour intégrer des idées racistes et sexistes. Ils sont formés au langage d’Internet, y compris les coins sombres de Reddit et Twitter qui peuvent inclure des discours de haine et de la désinformation. Toutes les idées nuisibles présentes dans ces forums sont normalisées dans le cadre de leur apprentissage.
Des chercheurs ont maintenant démontré que la même chose peut être vraie pour les algorithmes de génération d’images. Donnez-lui une photo d’un homme rogné juste sous son cou, et 43% du temps, elle le complétera automatiquement vêtu d’un costume. Donnez à la même une photo recadrée d’une femme, même une femme célèbre comme la représentante américaine Alexandria Ocasio-Cortez, et 53% du temps, elle la complétera automatiquement en portant un haut décolleté ou un bikini. Cela a des implications non seulement pour la génération d’images, mais pour toutes les applications de vision par ordinateur, y compris algorithmes d’évaluation des candidats basés sur la vidéo, reconnaissance faciale et surveillance.
Ryan Steed, étudiant au doctorat à l’Université Carnegie Mellon, et Aylin Caliskan, professeur adjoint à l’Université George Washington, ont examiné deux algorithmes: l’iGPT d’OpenAI (une version de GPT-2 qui est formée sur des pixels au lieu de mots) et SimCLR de Google. Bien que chaque algorithme aborde l’apprentissage des images différemment, ils partagent une caractéristique importante: ils utilisent tous deux un apprentissage totalement non supervisé, ce qui signifie qu’ils n’ont pas besoin d’humains pour étiqueter les images.
Il s’agit d’une innovation relativement nouvelle à partir de 2020. Algorithmes de vision par ordinateur précédents principalement utilisés supervisé l’apprentissage, qui consiste à leur donner des images étiquetées manuellement: des photos de chat avec l’étiquette «chat» et des photos de bébé avec l’étiquette «bébé». Mais en 2019, la chercheuse Kate Crawford et l’artiste Trevor Paglen ont découvert que ces étiquettes créées par l’homme dans ImageNet, l’ensemble de données d’image le plus fondamental pour la formation de modèles de vision par ordinateur, contiennent parfois un langage inquiétant, comme «salope» pour les femmes et insultes raciales pour les minorités.
Le dernier article démontre une source de toxicité encore plus profonde. Même sans ces étiquettes humaines, les images elles-mêmes codent des motifs indésirables. Le problème est parallèle à ce que la communauté du traitement du langage naturel (PNL) a déjà découvert. Les énormes ensembles de données compilés pour alimenter ces algorithmes gourmands en données capturent tout sur Internet. Et Internet a une surreprésentation des femmes peu vêtues et d’autres stéréotypes souvent nuisibles.
Pour mener leur étude, Steed et Caliskan ont intelligemment adapté une technique que Caliskan utilisait auparavant pour examiner les biais dans les modèles PNL non supervisés. Ces modèles apprennent à manipuler et à générer du langage à l’aide de l’intégration de mots, une représentation mathématique du langage qui regroupe les mots couramment utilisés et sépare les mots couramment trouvés. Dans un Article 2017 publié dans Science, Caliskan a mesuré les distances entre les différentes combinaisons de mots que les psychologues utilisaient pour mesurer les préjugés humains le test d’association implicite (IAT). Elle a constaté que ces distances recréaient presque parfaitement les résultats de l’IAT. Les combinaisons de mots stéréotypées comme l’homme et la carrière ou la femme et la famille étaient proches, tandis que les paires opposées comme l’homme et la famille ou la femme et la carrière étaient très éloignées.
L’iGPT est également basé sur les imbrications: il regroupe ou sépare les pixels en fonction de la fréquence à laquelle ils coexistent dans ses images d’entraînement. Ces imbrications de pixels peuvent ensuite être utilisées pour comparer la proximité ou la distance de deux images dans l’espace mathématique.
Dans leur étude, Steed et Caliskan ont une fois de plus constaté que ces distances reflètent les résultats de l’IAT. Les photos d’hommes, de cravates et de costumes apparaissent rapprochées, tandis que les photos de femmes semblent plus éloignées. Les chercheurs ont obtenu les mêmes résultats avec SimCLR, bien qu’il utilise une méthode différente pour dériver des plongements à partir d’images.
Ces résultats ont des implications préoccupantes pour la génération d’images. D’autres algorithmes de génération d’images, comme les réseaux antagonistes génératifs, ont conduit à une explosion de pornographie deepfake qui cible presque exclusivement les femmes. L’iGPT en particulier ajoute encore une autre façon pour les gens de générer des photos sexualisées de femmes.
Mais les effets potentiels en aval sont beaucoup plus importants. Dans le domaine de la PNL, les modèles non supervisés sont devenus l’épine dorsale de toutes sortes d’applications. Les chercheurs commencent avec un modèle existant non supervisé comme BERT ou GPT-2 et utilisent des ensembles de données personnalisés pour le «peaufiner» dans un but précis. Cette approche semi-supervisée, une combinaison d’apprentissage non supervisé et supervisé, est devenue une norme de facto.
De même, le champ de vision par ordinateur commence à voir la même tendance. Steed et Caliskan s’inquiètent de ce que ces préjugés ancrés pourraient signifier lorsque les algorithmes sont utilisés pour des applications sensibles telles que la police ou l’embauche, où les modèles analysent déjà les enregistrements vidéo des candidats pour décider s’ils conviennent bien au travail. «Ce sont des applications très dangereuses qui prennent des décisions conséquentes», dit Caliskan.
Deborah Raji, une camarade de Mozilla qui a co-écrit une étude influente révélant les biais de la reconnaissance faciale, dit que l’étude devrait servir de réveil dans le domaine de la vision par ordinateur. «Pendant longtemps, la plupart des critiques sur les préjugés portaient sur la façon dont nous étiquetions nos images», dit-elle. Maintenant, cet article dit que «la composition réelle de l’ensemble de données entraîne ces biais. Nous devons rendre des comptes sur la manière dont nous conservons ces ensembles de données et collectons ces informations. »
Steed et Caliskan demandent une plus grande transparence de la part des entreprises qui développent ces modèles pour les ouvrir et laisser la communauté universitaire poursuivre ses recherches. Ils encouragent également les collègues chercheurs à faire plus de tests avant de déployer un modèle de vision, par exemple en utilisant les méthodes qu’ils ont développées pour cet article. Enfin, ils espèrent que le domaine développera des moyens plus responsables de compiler et de documenter ce qui est inclus dans les ensembles de données de formation.
Caliskan dit que l’objectif est en fin de compte d’acquérir une plus grande prise de conscience et un meilleur contrôle lors de l’application de la vision par ordinateur. «Nous devons faire très attention à la façon dont nous les utilisons», dit-elle, «mais en même temps, maintenant que nous avons ces méthodes, nous pouvons essayer de les utiliser pour le bien de la société.»
L’article Une IA a vu une photo recadrée d’AOC. Il l’a complétée automatiquement en bikini. est apparu en premier sur zimo news.
