Nous devons concevoir la méfiance envers les systèmes d’IA pour les rendre plus sûrs

Il est intéressant que vous parliez de la façon dont, dans ce genre de scénarios, vous devez activement concevoir la méfiance dans le système pour le rendre plus sûr.

Oui, c’est ce que vous devez faire. Nous essayons actuellement une expérience autour de l’idée de déni de service. Nous n’avons pas encore de résultats et nous sommes aux prises avec des problèmes éthiques. Parce qu’une fois que nous en parlerons et publierons les résultats, nous devrons expliquer pourquoi parfois vous ne voudrez peut-être pas non plus donner à l’IA la possibilité de refuser un service. Comment supprimer le service si quelqu’un en a vraiment besoin?

Mais voici un exemple de la méfiance de Tesla. Le déni de service serait: je crée un profil de votre confiance, ce que je peux faire en fonction du nombre de fois que vous avez désactivé ou désengagé de tenir le volant. Compte tenu de ces profils de désengagement, je peux alors modéliser à quel point vous êtes pleinement dans cet état de confiance. Nous l’avons fait, non pas avec les données Tesla, mais avec nos propres données. Et à un certain moment, la prochaine fois que vous montez dans la voiture, vous obtenez un déni de service. Vous n’avez pas accès au système pendant X période.

C’est presque comme quand vous punissez un adolescent en lui enlevant son téléphone. Vous savez que les adolescents ne feront pas ce que vous ne vouliez pas qu’ils fassent si vous le liez à leur modalité de communication.

Quels sont les autres mécanismes que vous avez explorés pour renforcer la méfiance envers les systèmes?

L’autre méthodologie que nous avons explorée est en gros appelée IA explicable, où le système fournit une explication par rapport à certains de ses risques ou incertitudes. Parce que tous ces systèmes sont incertains – aucun d’entre eux n’est à 100%. Et un système sait quand il est incertain. Cela pourrait donc fournir des informations d’une manière qu’un humain peut comprendre, afin que les gens changent de comportement.

Par exemple, disons que je suis une voiture autonome et que j’ai toutes mes informations cartographiques, et je sais que certaines intersections sont plus sujettes aux accidents que d’autres. En nous rapprochant de l’un d’entre eux, je dirais: «Nous approchons d’une intersection où 10 personnes sont mortes l’année dernière.» Vous l’expliquez d’une manière où cela incite quelqu’un à aller, «Oh, attendez, peut-être que je devrais être plus conscient.

Nous avons déjà parlé de certaines de vos préoccupations concernant notre tendance à trop faire confiance à ces systèmes. Quels sont les autres? D’un autre côté, y a-t-il aussi des avantages?

Les négatifs sont vraiment liés aux préjugés. C’est pourquoi je parle toujours de partialité et de confiance de manière interchangeable. Parce que si je fais trop confiance à ces systèmes et que ces systèmes prennent des décisions qui ont des résultats différents pour différents groupes d’individus – par exemple, un système de diagnostic médical a des différences entre les femmes et les hommes – nous créons maintenant des systèmes qui augmentent les inégalités que nous avons actuellement . C’est un problème. Et lorsque vous le liez à des choses liées à la santé ou au transport, qui peuvent toutes deux conduire à des situations de vie ou de mort, une mauvaise décision peut en fait conduire à quelque chose dont vous ne pouvez pas vous remettre. Nous devons donc vraiment y remédier.

Les points positifs sont que les systèmes automatisés sont meilleurs que les gens en général. Je pense qu’ils peuvent être même mieux, mais personnellement, je préférerais interagir avec un système d’IA dans certaines situations plutôt qu’avec certains humains dans d’autres situations. Par exemple, je sais qu’il y a des problèmes, mais donnez-moi l’IA. Donnez-moi le robot. Ils ont plus de données; ils sont plus précis. Surtout si vous avez une personne novice. C’est un meilleur résultat. Il se peut que le résultat ne soit pas égal.

En plus de vos recherches en robotique et en IA, vous avez été un fervent partisan de l’augmentation de la diversité dans le domaine tout au long de votre carrière. Vous avez lancé un programme de mentorat pour les filles à risque du premier cycle du secondaire il y a 20 ans, bien avant que de nombreuses personnes ne réfléchissent à cette question. Pourquoi est-ce important pour vous et pourquoi est-ce aussi important pour le terrain?

C’est important pour moi parce que je peux identifier les moments de ma vie où quelqu’un m’a essentiellement donné accès à l’ingénierie et à l’informatique. Je ne savais même pas que c’était une chose. Et c’est vraiment pourquoi plus tard, je n’ai jamais eu de problème à savoir que je pouvais le faire. Et donc j’ai toujours senti qu’il était juste de ma responsabilité de faire la même chose pour ceux qui l’ont fait pour moi. En vieillissant aussi, j’ai remarqué qu’il y avait beaucoup de gens qui ne me ressemblaient pas dans la pièce. Alors j’ai réalisé: Attendez, il y a définitivement un problème ici, parce que les gens n’ont tout simplement pas les modèles, ils n’y ont pas accès, ils ne savent même pas que c’est une chose.

Et pourquoi c’est important sur le terrain, c’est parce que chacun a une expérience différente. Tout comme je pensais à l’interaction homme-robot avant même que ce ne soit une chose. Ce n’était pas parce que j’étais brillant. C’est parce que j’ai envisagé le problème d’une manière différente. Et quand je parle à quelqu’un qui a un point de vue différent, c’est comme: « Oh, essayons de combiner et de découvrir le meilleur des deux mondes. »

Les airbags tuent plus de femmes et d’enfants. Pourquoi donc? Eh bien, je vais dire que c’est parce que quelqu’un n’était pas dans la pièce pour dire: «Hé, pourquoi ne pas tester ça sur des femmes à l’avant?» Il y a un tas de problèmes qui ont tué ou mis en danger certains groupes de personnes. Et je dirais que si vous revenez en arrière, c’est parce que vous n’avez pas assez de gens pour dire « Hé, y avez-vous pensé? » parce qu’ils parlent de leur propre expérience et de leur environnement et de leur communauté.

Comment espérez-vous que la recherche sur l’IA et la robotique évoluera au fil du temps? Quelle est votre vision du terrain?

Si vous pensez au codage et à la programmation, à peu près tout le monde peut le faire. Il y a tellement d’organisations comme Code.org. Les ressources et les outils sont là. J’adorerais avoir une conversation avec un étudiant un jour où je lui demanderai: «Connaissez-vous l’IA et l’apprentissage automatique?» et ils disent: «Dr. H, je fais ça depuis la troisième année! Je veux être choqué comme ça, car ce serait merveilleux. Bien sûr, alors je devrais réfléchir à quel est mon prochain travail, mais c’est une toute autre histoire.

Mais je pense que lorsque vous avez les outils de codage, d’IA et d’apprentissage automatique, vous pouvez créer vos propres emplois, vous pouvez créer votre propre avenir, vous pouvez créer votre propre solution. Ce serait mon rêve.