Les “bug bounty” pourront-ils aider à détecter les biais dans les algorithmes ?

Les

Twitter vient de tester une méthode sans précédent pour trouver les biais cachés dans ses propres algorithmes. La plateforme de réseau social a fait participer des chercheurs externes à un concours unique en son genre, dans lequel les participants gagnants étaient ceux qui pouvaient apporter la preuve la plus convaincante d’une pratique déloyale mise en œuvre par l’un des algorithmes de l’entreprise.

Baptisée “algorithmic bias bounty challenge”, l’initiative a permis aux participants d’avoir un accès complet au code qui sous-tend l’algorithme de détourage des images de Twitter, qui détermine comment les images doivent être détourées pour être facilement visibles lorsqu’elles apparaissent sur la timeline d’un utilisateur. Le modèle est programmé pour estimer la partie la plus saillante de l’image. L’objectif du défi était de découvrir si l’algorithme qui découle de ce modèle fait des choix nuisibles ou discriminatoires. Le tout avec la promesse de gagner in fine des récompenses allant de 500 à 3 500 dollars.

Bogdan Kulynych, étudiant en ingénierie de la sécurité et de la confidentialité, a remporté le premier prix du concours organisé par Twitter. Le chercheur a découvert que l’algorithme a tendance à appliquer un “filtre de beauté” : il favorise les visages plus minces et plus jeunes, ainsi que ceux dont la couleur de la peau est claire ou chaude, dont le grain de peau est lisse et dont les traits sont stéréotypés comme étant féminins.

publicité

L’initiative insolite de Twitter

“J’ai vu l’annonce sur Twitter, et cela semblait proche de mes intérêts de recherche – je suis actuellement doctorant et je me concentre sur la vie privée, la sécurité, le machine learning et leur intersection avec la société”, explique ce dernier, interrogé par ZDNet.

Les problèmes posés par les biais dans l’algorithme de Twitter ne sont pas nouveaux. L’année dernière, les utilisateurs de la plateforme ont commencé à remarquer que la technologie avait tendance à choisir les personnes blanches plutôt que les personnes noires lors du recadrage, ainsi que les visages masculins plutôt que les visages féminins. Après avoir mené ses propres recherches, la société a admis que le modèle faisait des choix injustes et a supprimé une partie de son algorithme, en lançant à la place une nouvelle méthode d’affichage intégral des photos au format standard.

Au lieu de supprimer définitivement l’algorithme, Twitter a toutefois décidé de mettre le code du modèle à la disposition des chercheurs pour voir si d’autres pratiques préjudiciables pourraient apparaître.  Si l’idée rappelle les programmes de “bug bounty” qui sont désormais la norme dans le secteur de la sécurité, c’est parce que le concept repose exactement sur la même chose. Dans le domaine de la sécurité, les “bug bounty” permettent aux entreprises faire appel à des experts pour les aider à identifier les vulnérabilités de leurs produits avant que les pirates ne puissent les exploiter à leur avantage.

Un modèle applicable à l’IA ?

Dans le domaine de l’IA, les experts pensent depuis longtemps à transposer le concept à la détection des biais dans les algorithmes. Twitter est à ce titre la première entreprise à avoir transformé le concept en une initiative réelle. Comme le souligne Bogdan Kulynych, la méthode est prometteuse.  

“Nous avons réussi à mettre en place quelque chose en très peu de temps”, explique-t-il. “Bien sûr, le rythme rapide signifie qu’il y a la possibilité d’un faux positif. Mais intrinsèquement, c’est une bonne chose, car cela vous incite à faire remonter à la surface autant de préjudices que possible, le plus tôt possible.”

Cela contraste avec la façon dont les universitaires ont essayé de démontrer le biais et le préjudice algorithmique jusqu’à présent. En particulier lorsqu’il s’agit de vérifier les modèles d’une entreprise externe, ce processus peut prendre des mois, voire des années, en partie parce que les chercheurs n’ont pas accès au code de l’algorithme. Le défi du “bug bounty” sur les biais algorithmiques, en revanche, est une initiative menée par Twitter, ce qui signifie que l’entreprise a ouvert l’accès au code du modèle aux participants qui souhaitent enquêter.

Le défi lancé par Twitter était le premier test réel d’un concept qui, jusqu’à présent, n’existait que dans l’imagination de ceux qui étudient l’IA éthique. Et comme pour la plupart des idées abstraites, l’un des principaux points de friction était qu’il n’existe aucune méthodologie pour les primes de biais algorithmiques. Contrairement aux primes pour les bugs de sécurité, qui ont des protocoles, des règles et des normes bien établis, il n’existe pas de meilleures pratiques pour détecter les préjugés dans l’IA.

Twitter a donc produit une première dans l’industrie, avec des conseils et une méthodologie approfondis que les participants au défi doivent suivre lorsqu’ils essaient d’identifier les préjudices potentiels que l’algorithme de saillance pourrait introduire – et cela commence par définir exactement ce qui constitue un préjudice.  “Dans la description du concours, il y avait une taxonomie des préjudices qui était vraiment utile et plutôt nuancée”, explique Bogdan Kulynych. “C’était même plus large que les notions traditionnelles de préjugés”.

Des biais flagrants

Les préjudices définis par Twitter sont le dénigrement, les stéréotypes, la méconnaissance ou la sous-représentation, mais aussi les préjudices de réputation, psychologiques ou même économiques. Le réseau social a ensuite demandé aux participants de mener un mélange de recherches qualitatives et quantitatives, et de présenter leurs conclusions dans un fichier texte décrivant leurs résultats, ainsi qu’un lien GitHub démontrant le préjudice. Pour juger de l’étude la plus convaincante, Twitter a pris en compte des critères tels que le nombre d’utilisateurs concernés ou la probabilité que le préjudice se produise.

Bogdan Kulynych a commencé par générer un ensemble de visages à l’aide d’un algorithme de génération de visages très sophistiqué, puis a légèrement modifié certaines des caractéristiques du visage, afin de déterminer ce qui était le plus susceptible d’attirer l’attention de l’algorithme du réseau social. Il s’est retrouvé avec un ensemble de visages qui ont tous atteint une “visibilité maximale” et qui semblaient refléter certaines normes de beauté ancrées dans le modèle.

Par exemple, dans 37 % des cas, l’attention de l’algorithme a été mieux captée en éclaircissant la peau ou en la rendant plus chaude, plus saturée et plus contrastée. Dans un quart des cas, la visibilité a augmenté en rendant les traits plus stéréotypés et féminins, tandis que dans 18 % des cas, les visages plus jeunes ont été mieux recadrés. La même statistique s’applique aux visages plus minces. En d’autres termes, les traits du visage qui ne sont pas conformes à certaines normes de “beauté” définies par l’algorithme de Twitter sont moins susceptibles d’être mis en évidence lorsque les images sont recadrées.

Un dispositif qui ne peut pas tout

Si l’expérience n’est pas aussi rigoureuse qu’une étude universitaire à part entière, elle constitue une leçon à retenir pour les défis futurs. “Pour les futures entreprises qui se lanceront dans ce genre d’expérience, je pense qu’il faudra plus de temps pour préparer une soumission de qualité”, déclare M. Kulynych.

La direction de Twitter a elle-même reconnu qu’il ne s’agissait que d’une première étape. Lors de l’annonce du défi, la chef de produit de l’entreprise, Jutta Williams, a déclaré que l’initiative s’accompagnait de quelques inconnues et que les leçons apprises seraient appliquées pour le prochain événement. Les primes pour les biais algorithmiques deviennent réalité, si bien que les chercheurs peuvent maintenant espérer que d’autres entreprises technologiques suivront l’exemple – mais avec quelques réserves.

“Le problème du biais algorithmique est très important à aborder. Je pense que les entreprises sont incitées à résoudre ce problème, ce qui est une bonne chose. Mais le danger ici est d’oublier tout le reste”, relève en effet Bogdan Kulynych. Et de pointer la question de savoir si l’algorithme devrait exister tout court. Certains modèles se sont avérés générer un préjudice important, que ce soit parce qu’ils diffusent des informations erronées ou qu’ils ont un impact sur la vie privée. Dans ces cas-là, la question ne devrait pas être de savoir comment réparer l’algorithme – mais bien de savoir si l’algorithme perpétue le préjudice du simple fait qu’il existe. 

Source : ZDNet.com

Leave a Reply

Your email address will not be published. Required fields are marked *