On a beaucoup parlé ces derniers temps des dysfonctionnements qui pouvaient amener les IA à reproduire les penchants racistes des humains. Le robot Tay créé par Microsoft a, par exemple, dû être mis hors ligne au bout de 16 heures après de nombreux débordements.

En matière de sexisme, les IA se distinguent également souvent pour le pire. C’est notamment le cas avec Google Images, qui tend à se prendre en compte un biais particulièrement sexiste, là où Amazon a dû mettre fin à un programme de recrutement par IA. Et pour cause, cette dernière reproduisait certains biais humains en pénalisant les CV contenant le mot « femme ».

L’IA va supprimer les allusions directes et indirectes à la race

Mais l’IA semble aussi avoir son mot à dire en matière de lutte contre les préjugés et la ville de San Francisco entend le démontrer. À compter du 1er juillet, un outil sera mis en place visant à supprimer automatiquement toutes les informations contenues dans les rapports de police susceptibles d’identifier la race du suspect.

Une décision radicale, mais nécessaire selon le procureur du district de San Francisco, George Gascón : « Lorsque vous regardez les personnes incarcérées dans ce pays, elles seront de manière disproportionnée des hommes et des femmes de couleur ».

Concrètement, l’IA supprimera toute les allusions directes à la race, mais aussi physiques telles que la couleur des yeux, les cheveux. Les noms des personnes, les lieux et les quartiers susceptibles d’indiquer sciemment l’origine du prévenu seront également exclus. Il est également prévu de supprimer les informations concernant les agents de police au cas où le procureur aurait un préjugé favorable ou défavorable à leur encontre.

Il reste à voir si ce nouvel outil s’avère efficace. Certains soulignent à juste titre que la prise de décision d’inculper un suspect n’est pas le principal moment où les préjugés racistes opèrent. Cela se fait souvent en amont lorsqu’un policier décide de contrôler ou non une personne qu’il juge suspecte.

Advertisements

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.