C’est notamment ce à quoi Gebru, Mitchell et cinq autres scientifiques ont mis en garde dans leur article, qui appelle les LLM des «perroquets stochastiques». «La technologie du langage peut être très, très utile lorsqu’elle est correctement définie, située et encadrée», déclare Emily Bender, professeur de linguistique à l’Université de Washington et l’un des coauteurs de l’article. Mais la nature polyvalente des LLM – et le caractère persuasif de leur mimétisme – incite les entreprises à les utiliser dans des domaines pour lesquels elles ne sont pas nécessairement équipées.
Dans un discours récent lors de l’une des plus grandes conférences sur l’IA, Gebru a lié ce déploiement hâtif de LLM aux conséquences qu’elle avait subies dans sa propre vie. Gebru est né et a grandi en Éthiopie, où une guerre qui s’intensifie a ravagé la région la plus septentrionale du Tigré. L’Éthiopie est également un pays où 86 langues sont parlées, presque toutes inexistantes dans les technologies linguistiques traditionnelles.
Bien que les LLM aient ces lacunes linguistiques, Facebook compte beaucoup sur eux pour automatiser sa modération de contenu à l’échelle mondiale. Lorsque la guerre au Tigray a éclaté pour la première fois en novembre, Gebru a vu la plate-forme s’effondrer pour maîtriser la vague de désinformation. Ceci est emblématique d’un modèle persistant que les chercheurs ont observé dans la modération du contenu. Communautés qui parler des langues non prioritaires par la Silicon Valley souffrent des environnements numériques les plus hostiles.
Gebru a noté que ce n’était pas là non plus le mal. Lorsque les fausses nouvelles, les discours de haine et même les menaces de mort ne sont pas modérés, ils sont ensuite récupérés comme données de formation pour créer la prochaine génération de LLM. Et ces modèles, reprenant sur quoi ils sont entraînés, finissent par régurgiter ces modèles linguistiques toxiques sur Internet.
Dans de nombreux cas, les chercheurs n’ont pas étudié suffisamment en profondeur pour savoir comment cette toxicité pourrait se manifester dans les applications en aval. Mais certaines bourses existent. Dans son livre 2018 Algorithmes d’oppression, Safiya Noble, professeur agrégé d’information et d’études afro-américaines à l’Université de Californie à Los Angeles, a documenté comment les préjugés intégrés dans la recherche Google perpétuent le racisme et, dans les cas extrêmes, peuvent même motiver la violence raciale.
«Les conséquences sont assez graves et importantes», dit-elle. Google n’est pas seulement le principal portail de connaissances pour les citoyens moyens. Il fournit également l’infrastructure d’information pour les institutions, les universités et les gouvernements des États et fédéraux.
Google utilise déjà un LLM pour optimiser certains de ses résultats de recherche. Avec sa dernière annonce de LaMDA et une proposition récente qu’elle a publiée dans un document de pré-impression, la société a clairement indiqué qu’elle ne ferait qu’accroître sa dépendance à l’égard de la technologie. Noble craint que cela ne fasse empirer les problèmes qu’elle a découverts: « Le fait que l’équipe d’intelligence artificielle de Google ait été licenciée pour avoir soulevé des questions très importantes sur les schémas de discrimination racistes et sexistes intégrés dans les grands modèles linguistiques aurait dû être un signal d’alarme. »
BigScience
Le projet BigScience a débuté en réponse directe au besoin croissant d’examen scientifique des LLM. En observant la prolifération rapide de la technologie et la tentative de censure de Gebru et Mitchell par Google, Wolf et plusieurs collègues ont réalisé qu’il était temps pour la communauté de recherche de prendre les choses en main.
Inspirés par des collaborations scientifiques ouvertes comme le CERN en physique des particules, ils ont conçu une idée de LLM open source qui pourrait être utilisée pour mener des recherches critiques indépendamment de toute entreprise. En avril de cette année, le groupe a reçu une subvention pour le construire à l’aide du supercalculateur du gouvernement français.
Dans les entreprises technologiques, les LLM sont souvent construits par seulement une demi-douzaine de personnes ayant une expertise principalement technique. BigScience souhaitait amener des centaines de chercheurs d’un large éventail de pays et de disciplines à participer à un processus de construction de modèles véritablement collaboratif. Wolf, qui est français, s’est d’abord adressé à la communauté française de PNL. À partir de là, l’initiative s’est transformée en une opération mondiale regroupant plus de 500 personnes.
La collaboration est maintenant vaguement organisée en une douzaine de groupes de travail et comptant, chacun abordant différents aspects du développement et de l’investigation de modèles. Un groupe mesurera l’impact environnemental du modèle, y compris l’empreinte carbone de la formation et de l’exécution du LLM et en tenant compte des coûts du cycle de vie du supercalculateur. Un autre se concentrera sur le développement de moyens responsables pour obtenir les données de formation – en recherchant des alternatives à la simple extraction de données sur le Web, comme la transcription d’archives radio historiques ou de podcasts. Le but ici est d’éviter le langage toxique et la collecte non consensuelle d’informations privées.
L’article La course pour comprendre le monde passionnant et dangereux de l’IA langagière est apparu en premier sur zimo news.
