Les superordinateurs s’installent dans le cloud

De nos jours, les superordinateurs ne sont pas forcement du matériel ésotérique et spécialisé ; ils sont constitués de serveurs haut de gamme densément interconnectés et gérés par des logiciels qui déploient des charges de travail de calcul haute performance (HPC) sur ce matériel. Ces serveurs peuvent se trouver dans un centre de données, mais ils peuvent également se trouver dans le cloud.

Lorsqu’il s’agit de simulations complexes, comme la dynamique des fluides numérique pour simuler une soufflerie, le traitement de millions de points de données nécessite la puissance d’un système distribué et le logiciel qui planifie ces charges de travail est conçu pour les systèmes HPC. Si vous voulez simuler 500 millions de points de données et que vous voulez le faire 7 000 ou 8 000 fois pour examiner une variété de conditions différentes, cela va générer environ un demi-pétaoctet de données. Même si une machine virtuelle (VM) dans le cloud pouvait traiter cette quantité de données, le temps de calcul prendrait des millions d’heures. Il faut donc les distribuer – et les outils pour le faire efficacement ont besoin de quelque chose qui ressemble à un superordinateur, même s’il vit dans un centre de données dans le cloud.

Azure prend les devants

Lorsque le dernier classement du Top 500 a été publié cet été, Azure comptait quatre superordinateurs dans le top 30. À titre de comparaison, AWS ne comptait qu’une seule entrée dans la liste, à la 41e place.

Les utilisateurs de HPC sur Azure utilisent cet outil pour travailler sur la dynamique des fluides numériques, les prévisions météorologiques, la simulation géoscientifique, l’apprentissage automatique, l’analyse des risques financiers, la modélisation pour la conception de puces en silicium (une charge de travail suffisamment populaire pour qu’Azure dispose de VM de la série FX avec une architecture spécifique pour l’automatisation de la conception électronique), la recherche médicale, la génomique, les simulations biomédicales et les simulations physiques.

Certaines de ces tâches sont effectuées sur du matériel HPC traditionnel : Azure propose des superordinateurs Cray XC et CS et le Met Office britannique est en train d’installer quatre systèmes Cray EX sur Azure pour son nouveau superordinateur de prévision météorologique. Mais vous pouvez également assembler un supercalculateur à partir de VM des séries H et N (en utilisant du matériel comme les GPU NVidia A100 Tensor Core et les FPGA Xilinx ainsi que les derniers CPU Epyc 7300) en utilisant des images HPC.

L’une des raisons pour lesquelles le Met Office a choisi un supercalculateur dans le cloud, c’est pour se permettre de pouvoir choisir la meilleure solution en 2027. Comme l’explique Richard Lawrence, le responsable informatique du Met Office pour les supercalculateurs, le but était de “passer moins de temps à acheter des superordinateurs et plus de temps à les utiliser”.

Mais comment Microsoft construit Azure pour bien supporter le HPC alors que les exigences peuvent être différentes ? “Il y a des choses dont le cloud a besoin de manière générale et dont le HPC n’a pas besoin, et vice versa”, nous a dit Andrew Jones de l’équipe HPC de Microsoft.

Tout le monde a besoin de réseaux rapides, de stockage rapide, de processeurs rapides et de plus de bande passante pour la mémoire, mais la façon dont tout cela est intégré est clairement différente, explique-t-il.

Les applications HPC doivent être performantes à grande échelle, ce pour quoi le cloud est idéal, mais elles doivent être déployées dans l’infrastructure cloud différemment des applications cloud typiques.

Si vous déployez toute une série de machines virtuelles indépendantes, il est logique de les répartir dans le centre de données de manière à ce qu’elles soient relativement indépendantes et résilientes les unes par rapport aux autres. Dans le monde du HPC, vous voulez regrouper toutes vos machines virtuelles le plus près possible les unes des autres, de manière à ce qu’elles aient les connexions réseau les plus étroites possible entre elles pour obtenir les meilleures performances, explique-t-il.

Certaines infrastructures HPC s’avèrent très utiles ailleurs. “L’idée d’interconnexions hautes performances qui permettent vraiment de faire évoluer les performances et la latence des applications est un truc provenant des supercalculateurs et du HPC”, note Jones. “Il s’avère qu’elle fonctionne aussi très bien pour d’autres choses comme l’IA, certains aspects des jeux et des choses de ce genre.”

Bien que les interconnexions à haut débit permettent la désagrégation dans les centres de données hyperscale, où vous pouvez diviser la mémoire et le calcul sur différents matériels et allouer autant que vous avez besoin de chacun, cela peut ne pas être utile pour le HPC. Une plus grande flexibilité dans l’allocation de la mémoire peut néanmoins être utile, afin de limiter les coûts et toute la mémoire que vous allouez à un cluster ne sera pas utilisée pour chaque travail.

“Dans le monde du HPC, nous essayons désespérément de tirer le maximum de performance de l’interconnexion. Distribuer des éléments dans tout le centre de données n’est probablement pas la bonne voie à suivre pour des raisons de performance. Dans le domaine du calcul intensif, nous assemblons généralement un grand nombre d’éléments que nous voulons aussi identiques que possible les uns aux autres, auquel cas nous ne bénéficions pas des avantages de la désagrégation”, explique-t-il.

Quel avenir?

À quoi ressemblera le HPC dans le cloud à l’avenir ?

“Le HPC est un secteur suffisamment important pour que nous puissions influencer les architectures matérielles globales. Nous pouvons donc nous assurer que des éléments tels que les considérations relatives à la largeur de bande de la mémoire, les considérations relatives aux processus à haute puissance et, par conséquent, les contraintes de refroidissement, etc. sont intégrés dans ces architectures”, souligne-t-il.

Le monde du HPC a eu tendance à être assez conservateur, mais cela pourrait changer, note Jones, ce qui tombe bien pour le cloud. “Le HPC a été relativement statique en termes de technologie au cours des dernières années ; toute cette diversité et ce choix de processeurs ne sont apparus qu’au cours des deux dernières années “, explique-t-il. Il a fallu une décennie pour que les GPU deviennent courants dans le HPC.

Les personnes impliquées dans le HPC sont souvent dans le domaine depuis un certain temps. Mais de nouveaux profils arrivent dans le HPC avec des formations différentes ; elles ne sont pas toutes issues de l’informatique scientifique traditionnelle.

“Je pense que cette diversité de perspectives et de points de vue, tant du côté de l’utilisateur que du côté de la conception, va modifier certaines des hypothèses que nous avons toujours faites sur la quantité raisonnable d’efforts à fournir pour obtenir des performances, sur la volonté d’essayer de nouvelles technologies ou sur le rapport risque/récompense de l’essai de nouvelles technologies”, prédit M. Jones.

Ainsi, tout comme le HPC implique des changements pour l’infrastructure cloud, le cloud pourrait entraîner de grands changements pour le HPC.

Source : “ZDNet.com”