Qu’est-ce qu’un «algorithme»? Ça dépend à qui tu demandes

De même, la ville de New York envisage Int 1894, une loi qui introduirait des audits obligatoires des «outils automatisés de décision de l’emploi», définis comme «tout système dont la fonction est régie par la théorie statistique, ou les systèmes dont les paramètres sont définis par de tels systèmes.» Notamment, les deux projets de loi imposent des audits mais ne fournissent que des directives de haut niveau sur ce qu’est un audit.

Alors que les décideurs du gouvernement et de l’industrie créent des normes pour les audits algorithmiques, des désaccords sur ce qui compte comme algorithme sont probables. Plutôt que d’essayer de s’entendre sur une définition commune d ‘«algorithme» ou sur une technique d’audit universelle particulière, nous suggérons d’évaluer les systèmes automatisés principalement en fonction de leur impact. En nous concentrant sur les résultats plutôt que sur les contributions, nous évitons les débats inutiles sur la complexité technique. Ce qui compte, c’est le potentiel de préjudice, qu’il s’agisse d’une formule algébrique ou d’un réseau neuronal profond.

L’impact est un facteur d’évaluation critique dans d’autres domaines. Il est intégré au classique PEUR framework de cybersécurité, qui a été popularisé pour la première fois par Microsoft au début des années 2000 et est encore utilisé dans certaines entreprises. Le «A» de DREAD demande aux évaluateurs de menaces de quantifier les «utilisateurs affectés» en demandant combien de personnes subiraient l’impact d’une vulnérabilité identifiée. Les évaluations d’impact sont également courantes dans les analyses des droits de l’homme et de la durabilité, et nous avons vu certains premiers développeurs d’analyses d’impact de l’IA créer des rubriques similaires. Par exemple, le Canada Analyse d’impact algorithmique fournit un score basé sur des questions qualitatives telles que «Les clients de ce secteur d’activité sont-ils particulièrement vulnérables? (Oui ou non). »

Il est certainement difficile d’introduire un terme défini de manière vague, tel que «impact», dans toute évaluation. Le cadre DREAD a ensuite été complété ou remplacé par STRIDE, en partie à cause de défis en conciliant différentes croyances sur ce que la modélisation des menaces implique. Microsoft a arrêté d’utiliser DREAD en 2008.

Dans le domaine de l’IA, des conférences et des revues ont déjà introduit des déclarations d’impact avec plus ou moins de succès et de controverses. C’est loin d’être infaillible: les évaluations d’impact qui sont purement formulées peuvent facilement être jouées, tandis qu’une définition trop vague peut conduire à des évaluations arbitraires ou incroyablement longues.

Pourtant, c’est un pas en avant important. Le terme «algorithme», quelle que soit sa définition, ne devrait pas être un bouclier pour absoudre les humains qui ont conçu et déployé tout système de responsabilité pour les conséquences de son utilisation. C’est pourquoi le public demande de plus en plus la responsabilité algorithmique – et le concept d’impact offre un terrain d’entente utile pour les différents groupes qui travaillent pour répondre à cette demande.

Kristian Lum est professeur adjoint de recherche au département d’informatique et des sciences de l’information de l’Université de Pennsylvanie.

Rumman Chowdhury est le directeur de l’équipe d’éthique, de transparence et de responsabilité des machines (META) de Twitter. Elle était auparavant PDG et fondatrice de Parity, une plateforme d’audit algorithmique, et responsable mondiale de l’IA responsable chez Accenture.