IA : Microsoft et Nvidia lancent le nouveau langage complexe Megatron-Turing

Nvidia et Microsoft se sont associés pour créer le modèle de génération de langage naturel Megatron-Turing, qui constitue le “modèle de langage transformateur monolithique le plus puissant entraîné à ce jour”, comme l’indiquent les deux géants technologiques. Ce modèle d’IA comporte 105 couches, 530 milliards de paramètres et fonctionne sur du matériel de superordinateur volumineux comme Selene.

À titre de comparaison, le célèbre GPT-3 compte 175 milliards de paramètres.

“Chaque réplique du modèle s’étend sur 280 GPU NVIDIA A100, avec un découpage tensoriel à 8 voies au sein d’un nœud et un parallélisme de pipeline à 35 voies entre les nœuds”, ont déclaré les deux chercheurs dans un billet de blog. Le modèle a été entraîné sur 15 ensembles de données contenant 339 milliards de jetons et a permis de montrer que les grands modèles ont besoin de moins d’entraînement pour bien fonctionner. Cependant, la nécessité de travailler avec des langues et des échantillons du monde réel a fait réapparaître un vieux problème de l’IA : le biais.

Vers de nouvelles déconvenues ?

“Si les modèles de langage géants font progresser l’état de l’art sur la génération de langage, ils souffrent également de problèmes et de biais toxiques”, font savoir les deux géants de la technologie. “Selon nos observations effectuées sur MT-NLG, le modèle capte des stéréotypes et des préjugés à partir des données sur lesquelles il est entraîné”, indiquent ces derniers.

Pour faire face à cette problématique, Microsoft et Nvidia se sont engagés à tout mettre en oeuvre pour faire disparaître ces nouveaux biais. “Les observations que nous avons faites avec MT-NLG montrent que le modèle capte des stéréotypes et des préjugés à partir des données sur lesquelles il est formé. Microsoft et Nvidia s’engagent à travailler à la résolution de ce problème”, ont-ils indiqué.

Ce n’est pas la première fois que Microsoft rencontre des problèmes avec ses langages d’IA.  Il n’y a pas si longtemps, la firme de Redmond a vu son chatbot Tay adhérer à des thèses racistes – voire complètement nazies – en quelques heures en interagissant sur la toile. “Tay avait acquis un peu de langage et beaucoup de ce langage était extrêmement raciste et offensant. Pour vous donner une idée, Tay a par exemple dit: ‘Les nazis avaient raison'”, avait fait savoir Diana Kelley, CTO de Microsoft Cybersecurity Field, en 2019, à l’issue de cette expérience ratée.

Source : ZDNet.com