Frances Haugen dit que les algorithmes de Facebook sont dangereux. Voici pourquoi.

Dans son témoignage, Haugen a également souligné à plusieurs reprises à quel point ces phénomènes sont bien pires dans les régions qui ne parlent pas anglais en raison de la couverture inégale des différentes langues par Facebook.

« Dans le cas de l’Éthiopie, il y a 100 millions de personnes et six langues. Facebook ne prend en charge que deux de ces langues pour les systèmes d’intégrité », a-t-elle déclaré. « Cette stratégie consistant à se concentrer sur des systèmes spécifiques à la langue et au contenu pour que l’IA nous sauve est vouée à l’échec. »

Elle a poursuivi: « Donc, investir dans des moyens non basés sur le contenu pour ralentir la plate-forme protège non seulement notre liberté d’expression, mais aussi la vie des gens. »

J’explore cela plus en détail dans un article différent du début de cette année sur les limites des grands modèles de langage, ou LLM :

Bien que les LLM aient ces lacunes linguistiques, Facebook s’appuie fortement sur eux pour automatiser sa modération de contenu à l’échelle mondiale. Quand la guerre du Tigré[, Ethiopia] a éclaté pour la première fois en novembre, [AI ethics researcher Timnit] Gebru a vu la plate-forme patauger pour maîtriser la vague de désinformation. Ceci est emblématique d’un modèle persistant que les chercheurs ont observé dans la modération du contenu. Les communautés qui parlent des langues non prioritaires par la Silicon Valley souffrent des environnements numériques les plus hostiles.

Gebru a noté que ce n’est pas non plus là que le mal s’arrête. Lorsque les fausses nouvelles, les discours de haine et même les menaces de mort ne sont pas modérés, ils sont ensuite récupérés en tant que données de formation pour créer la prochaine génération de LLM. Et ces modèles, répétant ce sur quoi ils sont formés, finissent par régurgiter ces schémas linguistiques toxiques sur Internet.

Quel est le lien entre le classement du contenu de Facebook et la santé mentale des adolescents ?

L’une des révélations les plus choquantes des fichiers Facebook du Journal a été la recherche interne d’Instagram, qui a révélé que sa plate-forme aggrave la santé mentale des adolescentes. « Trente-deux pour cent des adolescentes ont déclaré que lorsqu’elles se sentaient mal dans leur corps, Instagram les faisait se sentir pire », ont écrit les chercheurs dans une présentation de diapositives de mars 2020.

Haugen relie également ce phénomène aux systèmes de classement basés sur l’engagement, qui, a-t-elle déclaré au Sénat aujourd’hui, « exposent les adolescents à davantage de contenu anorexique ».

« Si Instagram est une force si positive, avons-nous vu un âge d’or de la santé mentale des adolescents au cours des 10 dernières années ? Non, nous avons constaté une augmentation des taux de suicide et de dépression chez les adolescents », a-t-elle poursuivi. « Il existe un large éventail de recherches qui soutiennent l’idée que l’utilisation des médias sociaux amplifie le risque de ces dommages pour la santé mentale. »

Dans mon propre reportage, j’ai entendu un ancien chercheur en IA qui a également vu cet effet s’étendre à Facebook.

L’équipe du chercheur… a découvert que les utilisateurs ayant tendance à publier ou à s’engager dans du contenu mélancolique – un signe possible de dépression – pouvaient facilement se transformer en une consommation de matériel de plus en plus négatif qui risquait d’aggraver davantage leur santé mentale.

Mais comme pour Haugen, le chercheur a découvert que le leadership n’était pas intéressé par des changements algorithmiques fondamentaux.

L’équipe a proposé de peaufiner les modèles de classement du contenu pour que ces utilisateurs cessent de maximiser l’engagement seuls, afin qu’ils aient moins de choses déprimantes. « La question pour le leadership était : devrions-nous optimiser l’engagement si vous trouvez que quelqu’un est dans un état d’esprit vulnérable ? » il se souvient.

Mais tout ce qui réduisait l’engagement, même pour des raisons telles que ne pas exacerber la dépression de quelqu’un, a conduit à beaucoup d’ourlets et de haies parmi les dirigeants. Avec leurs évaluations de performance et leurs salaires liés à la réussite des projets, les employés ont rapidement appris à abandonner ceux qui ont été repoussés et à continuer à travailler sur ceux dictés de haut en bas….

Cet ancien employé, quant à lui, ne laisse plus sa fille utiliser Facebook.

Comment réparons nous ça?

Haugen est contre le démantèlement de Facebook ou l’abrogation de l’article 230 de la Communications Decency Act des États-Unis, qui empêche les plateformes technologiques d’assumer la responsabilité du contenu qu’elles distribuent.

Au lieu de cela, elle recommande de prévoir une exemption plus ciblée dans la section 230 pour le classement algorithmique, qui, selon elle, « éliminerait le classement basé sur l’engagement ». Elle plaide également pour un retour au fil d’actualité chronologique de Facebook.