Annoncé en avril dernier, le cluster de Huawei taillé pour les workloads d’IA CloudMatrix 384 a été officiellement dévoilé au public ce samedi lors de la World AI Conference à Shanghai. Un sérieux concurrent pour Nvidia et son système GB200 NVL72 mais très gourmand en énergie.
Après avoir un donné un aperçu de son cluster IA CloudMatrix 384 en avril dernier, Huawei l’a présenté officiellement lors d’une sortie publique samedi dernier. Montré dans le cadre de la World AI Conference (WAIC) à Shanghai (26-29 juillet), ce système se pose en concurrence frontale avec le GB200 NVL72 de Nvidia comprenant 36 Superchips Grace Blackwell (72 GPU Blackwell et 36 CPU Grace sur base Arm), également taillé pour traiter les charges de travail d’IA intensives. Ce cluster, qui embarque 384 GPU Ascend 910C, offre une densité pour une précision de calcul BF16 de 300 Pflops soit 1,7 fois plus que celle du GB200 NVL72 indiquait en avril dernier Semianalysis. « Avec une capacité de mémoire agrégée plus de 3,6 fois supérieure et une bande passante mémoire 2,1 fois plus importante, Huawei et la Chine disposent désormais de capacités de systèmes d’IA capables de surpasser celles de Nvidia », indiquait le cabinet d’étude. Une performance qui a un prix, la consommation énergétique de ce système étant largement supérieure à celle de son compétiteur. « L’inconvénient ici est qu’il consomme 4,1 fois plus d’énergie qu’un GB200 NVL72, avec une puissance par Flop 2,5 fois moins bonne, une puissance par bande passante mémoire TB/s 1,9 fois moins bonne et une puissance par capacité mémoire HBM en To 1,2 fois moins bonne », précise Semianalysis.
La plateforme CloudMatrix 384 est répartie sur 16 racks, 12 de calcul contenant chacun 32 GPU avec au milieu 4 armoires de commutateurs. L’interconnexion est assurée via un réseau UB (Unified Bus) à très haut débit, permettant une communication directe entre tous les nœuds et un regroupement dynamique des ressources. Ces fonctionnalités optimisent les performances pour les opérations à forte intensité de communication, telles que le parallélisme entre les mélanges d’experts (MoE) à grande échelle et l’accès distribué au cache clé-valeur, explique Huawei dans un papier de recherche publié le mois dernier.
Contourner les restrictions US à l’exportation de GPU
Si le CEO de Huawei Ren Zhengfei reconnaît que les accélérateurs Ascend sont moins puissantes que leurs concurrentes américaines, le dirigeant affirme que l’optimisation mathématique et le calcul en grappe peuvent combler les écarts de performance pour les charges de travail réelles. Chaque année, le fournisseur chinois dépenserait 25 milliards de dollars par an pour sa R&D. Huawei « avance très vite » avait d’ailleurs reconnu en mai dernier Jensen Huang, le CEO de Nvidia.
Ce lancement intervient alors que les restrictions américaines à l’exportation bloquent les GPU les plus performants de Nvidia en Chine, créant ainsi une opportunité pour Huawei. Ce lundi, également lors de la WAIC, plusieurs fournisseurs chinois ont rejoint deux alliances industrielles pour développer un écosystème IA national afin de réduire leur dépendance vis-à-vis des technologies étrangères. La première, à laquelle participent notamment Huawei, est Model-Chip Ecosystem Innovation Alliance qui « vise à relier l’ensemble de la chaîne technologique, des puces aux modèles en passant par l’infrastructure ». La seconde, Shanghai General Chamber of Commerce AI Committee, pour « promouvoir l’intégration profonde des technologies d’intelligence artificielle et la transformation industrielle », incluant notamment SenseTime, inscrit sur la liste noire américaine.