Nous avons testé des outils d’entretien d’IA. Voici ce que nous avons trouvé.

Après plus d’un an de pandémie de covid-19, des millions de personnes sont à la recherche d’un emploi aux États-Unis. Un logiciel d’entretien basé sur l’IA prétend aider les employeurs à passer au crible les candidatures pour trouver les meilleures personnes pour le poste. Les entreprises spécialisées dans cette technologie ont signalé une augmentation de leurs activités pendant la pandémie.

Mais à mesure que la demande pour ces technologies augmente, les questions sur leur précision et leur fiabilité augmentent également. Dans le dernier épisode du podcast de MIT Technology Review « In Machines We Trust », nous avons testé les logiciels de deux entreprises spécialisées dans les entretiens d’embauche en IA, MonEntretien et Chose curieuse. Et nous avons trouvé des variations dans les prédictions et les scores d’adéquation des emplois qui soulèvent des inquiétudes quant à ce que ces algorithmes évaluent exactement.

Apprendre à vous connaître

MyInterview mesure les traits pris en compte dans le Big Five Personality Test, une évaluation psychométrique souvent utilisée dans le processus d’embauche. Ces traits comprennent l’ouverture, la conscience, l’extraversion, l’agréabilité et la stabilité émotionnelle. Curious Thing mesure également les traits liés à la personnalité, mais au lieu des Big Five, les candidats sont évalués sur d’autres paramètres, comme l’humilité et la résilience.

Les algorithmes analysent les réponses des candidats pour déterminer les traits de personnalité. MyInterview compile également des scores indiquant dans quelle mesure un candidat correspond aux caractéristiques identifiées par les responsables du recrutement comme idéales pour le poste.

Pour terminer nos tests, nous avons d’abord mis en place le logiciel. Nous avons mis en ligne une fausse offre d’emploi pour un administrateur/chercheur de bureau sur MyInterview et Curious Thing. Ensuite, nous avons construit notre candidat idéal en choisissant des traits de personnalité à la demande du système.

Sur MyInterview, nous avons sélectionné des caractéristiques telles que le souci du détail et les avons classées par niveau d’importance. Nous avons également sélectionné des questions d’entretien, qui sont affichées à l’écran pendant que le candidat enregistre les réponses vidéo. Sur Curious Thing, nous avons sélectionné des caractéristiques telles que l’humilité, l’adaptabilité et la résilience.

L’un de nous, Hilke, a ensuite postulé pour le poste et a passé des entretiens pour le poste sur MyInterview et Curious Thing.

Notre candidat a passé un entretien téléphonique avec Curious Thing. Elle a d’abord passé un entretien d’embauche régulier et a obtenu une note de 8,5 sur 9 pour ses compétences en anglais. Dans un deuxième essai, l’intervieweuse automatisée a posé les mêmes questions, et elle a répondu à chacune en lisant l’entrée de Wikipédia pour la psychométrie en allemand.

Pourtant, Curious Thing lui a décerné un 6 sur 9 pour ses compétences en anglais. Elle a terminé l’entretien à nouveau et a reçu le même score.

Notre candidat s’est tourné vers MyInterview et a répété l’expérience. Elle a lu la même entrée de Wikipédia à haute voix en allemand. L’algorithme a non seulement renvoyé une évaluation de la personnalité, mais il a également prédit que notre candidate correspondrait à 73 % au faux emploi, la plaçant dans la première moitié de tous les candidats auxquels nous avions demandé de postuler.