IA : Meta va doper son metaverse à l’aide du supercalculateur d’IA le plus puissant au monde

IA : Meta va doper son metaverse à l'aide du supercalculateur d'IA le plus puissant au monde

À la mi-2022, Meta (ex-Facebook) contrôlera ce que son état-major pense bien être le supercalculateur d’IA le plus rapide du monde. Baptisé AI Research SuperCluster (RSC), le système fonctionne déjà et figure parmi les superordinateurs d’IA les plus rapides du monde, fait valoir le géant des réseaux sociaux dans un billet de blog publié lundi. Les chiffres sont éloquents : même si le développement du RSC est encore en cours, il devrait offrir près de 5 exaflops de calcul en précision mixte à compter du deuxième semestre 2022.

Meta, anciennement connu sous le nom de Facebook, utilise déjà le superordinateur pour entraîner de grands modèles de traitement du langage naturel (NLP) et de vision par ordinateur pour la recherche. L’entreprise utilise des modèles d’IA à grande échelle pour des priorités permanentes, telles que la détection de contenus nuisibles sur ses plateformes sociales. Pour elle, l’objectif est clair : il s’agit de former des modèles avec des trillions de paramètres pour l’aider à alimenter le metaverse, ce monde virtuel que Meta entend soutenir avec ses plateformes et ses produits.

“Les expériences que nous créons pour le metaverse nécessitent une énorme puissance de calcul (des quintillions d’opérations par seconde !) et RSC permettra de créer de nouveaux modèles d’IA capables d’apprendre à partir de trillions d’exemples, de comprendre des centaines de langues, et plus encore”, explique d’ailleurs Mark Zuckerberg, PDG de Meta, dans un communiqué.

publicité

Puissance maximale

Le supercalculateur RSC comprend un total de 760 systèmes Nvidia DGX A100 comme nœuds de calcul, pour un total de 6 080 GPU. Les GPU communiquent par l’intermédiaire d’une matrice Nvidia Quantum 200Gb/s InfiniBand à deux niveaux, sans sursouscription. Le niveau de stockage du RSC comprend 175 pétaoctets de Pure Storage FlashArray, 46 pétaoctets de mémoire cache dans les systèmes Altus de Penguin Computing et 10 pétaoctets de Pure Storage FlashBlade.

À titre de comparaison, le supercalculateur Perlmutter AI du ministère américain de l’énergie, dévoilé l’été dernier comme le supercalculateur AI le plus rapide au monde, fournit près de quatre exaflops de performances en précision mixte avec 6 159 GPU Nvidia A100 Tensor Core.

Lorsque le RSC de Meta sera terminé, la structure du réseau InfiniBand connectera 16 000 GPU en tant que points d’extrémité, ce qui en fera l’un des plus grands réseaux de ce type déployés à ce jour. De plus, Meta a conçu un système de cache et de stockage qui peut servir 16 TB/s de données de formation. L’entreprise prévoit de le faire évoluer jusqu’à 1 exaoctet, soit l’équivalent de 36 000 années de vidéo de haute qualité.

Un remplaçant de haute volée

RSC remplace l’infrastructure existante de Meta, conçue en 2017, qui compte 22 000 GPU Nvidia V100 Tensor Core dans un seul cluster et effectue 35 000 tâches d’entraînement par jour. Les premiers benchmarks sur RSC suggèrent qu’il exécute des flux de vision par ordinateur jusqu’à 20 fois plus rapidement que l’ancien système, qu’il exécute la bibliothèque de communication collective Nvidia (NCCL) plus de 9 fois plus rapidement et qu’il entraîne des modèles NLP à grande échelle 3 fois plus rapidement.

Alors que la précédente infrastructure de recherche en IA de Meta n’utilisait que des sources ouvertes et d’autres ensembles de données accessibles au public, RSC comprend des contrôles de confidentialité et de sécurité qui lui permettront d’enseigner des modèles avec des données du monde réel provenant des systèmes de production de Meta.

RSC exploite des données chiffrées générées par les utilisateurs, décryptées juste avant la formation. Le système n’a aucune connexion directe entrante ou sortante à l’Internet, et le trafic ne peut provenir que des centres de données de production de Meta. L’ensemble du chemin des données entre les systèmes de stockage de Meta et les GPU est chiffré de bout en bout. Avant d’être importées dans RSC, les données doivent être soumises à un processus de vérification de la confidentialité pour confirmer qu’elles ont été correctement anonymisées. Les données sont ensuite cryptées avant de pouvoir être utilisées pour former des modèles d’IA, et les clés de chiffrement sont supprimées régulièrement pour s’assurer que les anciennes données ne sont plus accessibles.

Source : ZDNet.com

Leave a Reply

Your email address will not be published. Required fields are marked *