ORCAA et HireVue ont concentré leur audit sur un seul produit: les évaluations d’embauche de HireVue, que de nombreuses entreprises utilisent pour évaluer les récents diplômés universitaires. Dans ce cas, ORCAA n’a pas évalué la conception technique de l’outil lui-même. Au lieu de cela, l’entreprise a interrogé des parties prenantes (y compris un candidat à un emploi, un éthicien de l’IA et plusieurs organisations à but non lucratif) sur les problèmes potentiels avec les outils et a donné des recommandations à HireVue pour les améliorer. Le rapport final est publié sur le site Web de HireVue mais ne peut être lu qu’après signature d’un accord de non-divulgation.
Alex Engler, chercheur à la Brookings Institution qui a étudié les outils de recrutement d’IA et qui est familier avec les deux audits, pense que Pymetrics est le meilleur: «Il y a une grande différence dans la profondeur de l’analyse qui a été activée», dit-il. Mais encore une fois, aucun des deux audits n’a examiné si les produits aidaient vraiment les entreprises à faire de meilleurs choix de recrutement. Et les deux ont été financés par les entreprises auditées, ce qui crée «un petit risque que l’auditeur soit influencé par le fait qu’il s’agit d’un client», explique Kim.
Pour ces raisons, disent les critiques, les audits volontaires ne suffisent pas. Les scientifiques des données et les experts en responsabilité font maintenant pression pour une réglementation plus large des outils de recrutement de l’IA, ainsi que des normes pour les auditer.
Combler les lacunes
Certaines de ces mesures commencent à apparaître aux États-Unis. En 2019, les sénateurs Cory Booker et Ron Wyden et la représentante Yvette Clarke ont présenté la loi sur la responsabilité algorithmique pour rendre les audits de biais obligatoires pour toutes les grandes entreprises utilisant l’IA, bien que le projet de loi n’ait pas été ratifié.
Pendant ce temps, il y a un certain mouvement au niveau de l’État. La loi sur les entretiens vidéo sur l’IA dans l’Illinois, qui est entrée en vigueur en janvier 2020, oblige les entreprises à informer les candidats lorsqu’ils utilisent l’IA dans des entretiens vidéo. Les villes agissent également – à Los Angeles, a proposé le membre du conseil municipal Joe Buscaino une motion d’embauche équitable pour les systèmes automatisés en novembre.
La Projet de loi de la ville de New York en particulier, pourrait servir de modèle pour les villes et les États du pays. Cela rendrait les audits annuels obligatoires pour les fournisseurs d’outils d’embauche automatisés. Il faudrait également que les entreprises qui utilisent les outils indiquent aux candidats quelles caractéristiques leur système a utilisé pour prendre une décision.
Mais la question de savoir à quoi ressembleraient réellement ces audits annuels reste ouverte. Pour de nombreux experts, un audit du type de ce que Pymetrics a fait n’irait pas très loin pour déterminer si ces systèmes sont discriminatoires, car cet audit n’a pas vérifié l’intersectionnalité ni évalué la capacité de l’outil à mesurer avec précision les traits qu’il prétend mesurer. des gens de races et de sexes différents.
L’article Les auditeurs testent les algorithmes de recrutement pour déceler les biais, mais de grandes questions demeurent est apparu en premier sur zimo news.
