La puce Wafer Scale Engine de Cerebras 10000 fois rapide que le plus gros GPU

Le Cerebras Wafer Scale Engine est actuellement la plus grande puce au monde avec une taille de 46,225 mm^2. Le système CS-1 utilise cette puce et serait plus de 10000 fois plus rapide que le GPU A100 de Nvidia en termes de calculs d’IA. Cerebras a effectué des recherches à ce sujet en collaboration avec le National Energy Technology Laboratory (NETL).

La puce est donc conçue et optimisée exclusivement pour les calcul liés à l’IA. La puce se compose de 400000 de cœurs avec 48 ko de mémoire par cœur, pour un total de plus de 18 Go. Dirk Van Essendelft, chercheur chez NETL, indique que cette structure supprime l’un des problèmes des calculateurs traditionnels. La mémoire qui se trouve en gros volume et directement dans la puce peut être atteinte plus rapidement et plus efficacement. Un article du NETL démontre d’ailleur que le CS-1 peut offrir des performances energétiques inatteignables avec une configuration traditionnelle.

Dans une interview, le fondateur de Cerebras, Andrew Feldman, a déclaré que dans une simulation de dynamique des fluides, le CS-1 calculait 200 fois plus vite que le supercalculateur Joule, qui se classe pourtant au 82e rang dans la liste des 500 supercalculateurs les plus rapides au monde. Le supercalculateur Joule utilisait à l’époque 16 384 cœurs de processeur.

Pour mettre cela en perspective, le supercalculateur Joule dans toute sa splendeur consomme 450 kW et coûte des dizaines de millions de dollars. Le CS-1 consomme “seulement” 20 kW et coûte plusieurs millions de dollars. Le plus frappant est le gain de place, le module mesure 66 cm et tient dans un tiers de rack, contre des dizaines de racks pour le Joule Supercomputer.

Cette performance dans les calculs AI et hpc est impressionnante. Nous sommes donc curieux de connaître les performances du successeur désormais annoncé, le Wafer Scale Engine 2.

Sources: Cerebras, NETL