Le plus puissant supercalculateur taillé spécialement pour l’intelligence artificielle
Cerebras Systems vient d’annoncer la troisième génération de son « processeur » géant, optimisé pour l’entraînement de l’intelligence artificielle. Avec plus de 4 mille milliards de transistors, le WSE-3 peut atteindre une puissance de calcul de 125 pétaflops dans les tâches liées à l’IA.
À l’heure actuelle, la plupart des intelligences artificielles, comme ChatGPTChatGPT ou Stable DiffusionDiffusion, peuvent fonctionner sur un ordinateur personnel haut de gamme doté d’une bonne carte graphique. Toutefois, leur entraînement préalable nécessite beaucoup plus de puissance pour traiter une quantité de données colossale. Des supercalculateurs spécialement conçus pour l’intelligence artificielle seront donc de plus en plus indispensables au fur et à mesure que les modèles d’IA se complexifient.
À cette fin, l’entreprise Cerebras Systems vient d’annoncer une nouvelle puce pour l’IA, la plus rapide au monde. Elle est composée d’un total de 4 000 milliards de transistors gravés avec un processus en 5 nanomètresnanomètres. Il s’agit de la troisième génération de son Wafer Scale Engine (WSE-3), autrement dit elle occupe un wafer complet, la plaque de siliciumsilicium que l’on divise habituellement pour faire des processeurs individuels.
Entraîner des intelligences artificielles en une seule journée
La WSE-3 est intégrée dans le supercalculateur Cerebras CS-3, qui affiche un total de 900 000 cœurs optimisés pour l’IA, avec 44 gigaoctets de mémoire SDRAMSDRAM. Le tout pouvant être associé jusqu’à 1,2 pétaoctets de stockage. Selon le constructeur, le CS-3 peut atteindre jusqu’à 125 pétaflops (millions de milliards d’opérations en virgule flottante par seconde). À titre de comparaison, c’est la même puissance que le dixième supercalculateur le plus rapide au monde. Cette machine peut entraîner les modèles d’IA comptant jusqu’à 24 000 milliards de paramètres, soit plus de dix fois la taille de GPT-4GPT-4 et GoogleGoogle Gemini.
Mieux encore, Cerebras Systems annonce qu’il est théoriquement possible d’associer jusqu’à 2048 de ces puces pour atteindre une puissance de 256 exaflops (soit 256 000 petaflops). De quoi entraîner le modèle Llama 70B à partir de zéro en une seule journée. Dans un premier temps, la firme compte construire un supercalculateur baptisé Condor Galaxy 3 contenant 64 systèmes CS-3, pour une puissance de 8 exaflops.
