摩尔线程夸娥智算中心扩展到万卡,拥有万卡 P 级浮点运算能力-IT行业

首页 2024-07-04 10:25:18

本站 7 月 3 摩尔线程今天宣布了日新闻 ai 夸娥旗舰产品(kuae)智能集群解决方案从目前的千卡级扩展到万卡规模。摩尔线程夸娥万卡智能集群,全功能 gpu 作为底座,可承载万卡规模,拥有万卡 p 国内通用加速计算平台具有水平浮点运算能力,专为万亿参数级复杂大模型培训而设计。

夸娥万卡智算解决方案具有以下核心特点:

万卡万 P:夸娥智算集群实现单集群规模超万卡,实现浮点运算能力 10Exa-Flops,达到 PB 超大显存总容量,每秒 PB 超高速卡间互联网总带宽和每秒 PB 超高速节点互联总带宽。

长稳训练:摩尔线程夸娥万卡集群平均无故障运行时间超过 15 天,最长可实现大模型稳定训练 30 每天以上,每周平均训练效率高 99% 远远超过行业平均水平。

高 MFU:夸娥万卡集群在系统软件、框架、算法等方面进行了一系列优化,实现了大模型的高效训练,MFU(一般指标评估大模型训练效率)最高可达到 60%。

友好的生态:可以加速 LLM、MoE、多模态、Mamba 不同架构、不同模式的大型模型。基于 MUSA 编程语言,完全兼容 CUDA 能力和自动迁移工具 Musify,加快新模型“Day0”级迁移。

该网站了解到,摩尔线程将分别开展三个万卡集群项目:

  • 青海零碳产业园万卡集群项目
  • 青海高原夸娥万卡集群项目
  • 广西东盟万卡集群项目

以上是摩尔线程夸娥智算中心扩展到万卡的规模 P 更多关于浮点运算能力的详细信息,请关注其他相关文章!


p