L’algorithme de Twitter recèle bien plus de biais que prévu

Twitter vient de publier un rapport détaillé sur les résultats de son premier bug bounty destiné à repérer les biais de son algorithme. Le résultat est sans surprise : il existe bien un certain nombre de domaines dans lesquels l’algorithme de la plateforme se sont avérés manquer d’équité. L’organisation d’un tel dispositif fait suite à de nombreuses plaintes reçue par Twitter au cours des dernières années. Celles-ci étaient en partie motivées par une fonction de recadrage d’image pointée du doigt pour avoir supprimé les visages noirs au profit des visages blancs.

Au mois d’octobre dernier, les utilisateurs à l’origine de ces plaintes avaient illustré le problème à l’aide de photos de l’ancien président américain Barack Obama, en montrant que son visage, ainsi que celui de toute autre personne à la peau plus foncée, étaient coupés dans des images qui se concentraient plutôt sur les visages blancs de la même photo. A la suite de cette polémique, Twitter s’était engagé à réduire sa dépendance à l’égard du recadrage d’images basé sur le machine learning, en mettant en œuvre ces changements à partir de mai 2021. En mai dernier, un porte-parole de Twitter avait assuré à ZDNet que la plateforme avait en grande partie éliminé l’algorithme défaillant de son service.

Pour autant, des hackers éthiques de l’IA ont réussi à trouver au terme de ce bug bounty d’autres problèmes au sein de l’algorithme de Twitter. “Leurs résultats ont confirmé notre hypothèse : nous ne pouvons pas résoudre ces problèmes seuls. Notre compréhension des biais dans l’IA peut être améliorée lorsque des voix diverses peuvent contribuer à la conversation”, indique-t-on du côté de Twitter, qui se veut volontariste sur le sujet.

Plus de biais que prévu

La plateforme se défend toutefois. “Lors de la construction de systèmes de machine learning, il est presque impossible de prévoir tous les problèmes potentiels et de garantir qu’un modèle servira tous les groupes de personnes de manière équitable. Lors de la conception de produits qui prennent des décisions automatiques, le maintien du statu quo conduit souvent à renforcer les préjugés culturels et sociaux existants”, fait-elle savoir. Et de relever que le bug bounty l’a aidé à découvrir un large éventail de problèmes en peu de temps.

La contribution gagnante de ce bug bounty a ainsi utilisé “une approche contrefactuelle pour démontrer que le modèle a tendance à encoder des normes de beauté stéréotypées, telles qu’une préférence pour les visages plus minces, plus jeunes, plus féminins et à la peau plus claire”. Une autre contribution, qui a obtenu la deuxième place du concours, a prouvé que l’algorithme de Twitter ne choisit presque jamais les personnes aux cheveux blancs comme la personne la plus saillante d’une photo donnée. 

L’algorithme de Twitter est donc porteur de bien plus de préjugés qu’initialement imaginé. “Souvent, la conversation autour des préjugés dans le machine learning se concentre sur la race et le sexe. Pour autant, comme nous l’avons vu à travers ce défi, les préjugés peuvent prendre de nombreuses formes. Les recherches sur le machine learning ‘équitable’ s’est historiquement concentrée sur des questions occidentales et centrées sur les États-Unis, nous avons donc été particulièrement inspirés de voir de multiples soumissions qui se concentraient sur des problèmes plus vastes encore”, notent les équipes de la plateforme.

Sur la défensive

“Notre modèle a été formé sur des données d’oculométrie humaine en source ouverte, ce qui présente le risque d’intégrer des biais conscients et inconscients. Étant donné que la saillance est une technique de traitement d’image couramment utilisée et que ces ensembles de données sont open source, nous espérons que d’autres personnes qui ont utilisé ces ensembles de données pourront tirer parti des informations fournies par le programme de primes pour améliorer leurs propres produits.”

La direction de Twitter a déclaré vouloir intégrer certaines contributions du bug bounty dans ses propres processus internes. Interrogé par ZDNet, la direction de Twitter explique que l’objectif du défi “n’était pas d’identifier les changements supplémentaires que nous devons apporter à notre produit”, mais simplement de “rassembler la communauté des hackers éthiques de l’IA, de les récompenser pour leur travail et d’élargir notre compréhension des types de préjudices et de conséquences involontaires que ce type de modèle peut potentiellement causer”.

“Ce que nous avons appris à travers les soumissions de ce défi contribuera cependant à informer la façon dont nous pensons à des questions similaires à l’avenir, et comment nous aidons à éduquer d’autres équipes chez Twitter sur la façon de construire des modèles plus responsables”, note-t-on du côté de Twitter. La plateforme se défend toutefois en affirmant que le modèle qu’il utilise est largement déployé par d’autres entreprises et qu’elle prévoit de publier un article sur les biais qui touchent encore son algorithme.

Source : ZDNet.com