下载APP
    扫描二维码
    下载潮新闻客户端
    读报

    昇腾原生,华为发布准万亿模型Pangu Ultra MoE模型架构和训练细节

    潮新闻 记者 张云山2025-05-30 12:00全网传播量1101
    00:00
    00:00
    01华为近日推出参数规模达7180亿的盘古UltraMoE模型,实现准万亿MoE模型全流程训练,体现了昇腾在超大规模MoE训练上的跨越。
    02盘古团队创新性设计模型架构和训练方法,提出DSSN稳定架构和TinyInit方法,实现超过18TB数据的长期稳定训练,同时提出EPloss负载优化方法,提升专家领域特化能力。
    03华为团队在昇腾CloudMatrix384超节点上高效打通大稀疏比MoE强化学习后训练框架,RL后训练进入超节点集群时代,预训练系统加速技术实现万卡集群预训练MFU大幅提升至41%。
    04盘古ProMoE大模型参数量720亿,通过动态激活专家网络设计,实现以小打大的优异性能,在SuperCLUE排行榜上位居千亿参数量以内大模型排行并列国内第一。
    05华为盘古UltraMoE和盘古ProMoE系列模型的发布,证明国产算力+国产模型的全流程自主可控训练实践完成,国产AI基础设施自主创新能力得到验证,为中国AI产业发展提供定心丸。
    以上内容由传播大模型和DeepSeek生成,仅供参考

    近日,华为在MoE模型训练领域再进一步,重磅推出参数规模高达7180亿的全新模型——盘古Ultra MoE,这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。华为同时发布盘古Ultra MoE模型架构和训练方法的技术报告,披露众多技术细节,充分体现了昇腾在超大规模MoE训练性能上的跨越。

    训练超大规模和极高稀疏性的 MoE 模型极具挑战,训练过程中的稳定性往往难以保障。针对这一难题,盘古团队在模型架构和训练方法上进行了创新性设计,成功地在昇腾平台上实现了准万亿 MoE 模型的全流程训练。

    资料照片 张云山/摄

    在模型架构上,盘古团队提出Depth-Scaled Sandwich-Norm(DSSN)稳定架构和TinyInit小初始化的方法,在昇腾平台上实现了超过18TB数据的长期稳定训练。此外,他们还提出了 EP loss 负载优化方法,这一设计不仅保证了各个专家之间的能保持较好的负载均衡,也提升了专家的领域特化能力。同时,盘古Ultra MoE使用了业界先进的MLA和MTP架构,在预训练和后训练阶段都使用了Dropless训练策略,实现了超大规模MoE架构在模型效果与效率之间的最佳平衡。

    集群训练系统(受访者供图)

    在训练方法上,华为团队首次披露在昇腾CloudMatrix 384超节点上,高效打通大稀疏比MoE强化学习(RL)后训练框架的关键技术,使RL后训练进入超节点集群时代。同时,在5月初发布的预训练系统加速技术基础上,在不到一个月的时间内,华为团队又完成了一轮迭代升级,包括:适配昇腾硬件的自适应流水掩盖策略,进一步优化算子执行序,进一步降低Host-Bound以及提升EP通信的掩盖;自适应管理内存优化策略的开发;数据重排实现DP间Attention负载均衡;以及昇腾亲和的算子优化,这些技术实现万卡集群预训练MFU由30%大幅提升至 41%。

    此外,近期发布的盘古Pro MoE大模型,在参数量仅为720亿,激活160亿参数量的情况下,通过动态激活专家网络的创新设计,实现了以小打大的优异性能,甚至可以媲美千亿级模型的性能表现。在业界权威大模型榜单SuperCLUE最新公布的2025年5月排行榜上,位居千亿参数量以内大模型排行并列国内第一。

    华为发布准万亿模型Pangu Ultra MoE模型架构和训练细节(受访者供图)

    华为盘古Ultra MoE和盘古Pro MoE系列模型的发布,证明华为不仅完成了国产算力+国产模型的全流程自主可控的训练实践,同时在集群训练系统的性能上也实现了业界领先。这意味着国产AI基础设施的自主创新能力得到了进一步验证,为中国人工智能产业的发展提供了一颗“定心丸”。

     

    “转载请注明出处”

    热门评论(1)
    潮客_dparhj · 2023-06-23 12:57 · 浙江杭州回复1
    去哪玩都要做好规划,尤其是各大博物馆门票,一定要看好时间提前抢票。
    潮新闻小编 · 2023-06-23 12:59回复1
    做好规划,提前买票。有事找潮新闻记者帮。
    最新评论(20)
    潮客_qzkgco · 2023-06-23 23:18 · 浙江丽水回复
    提肯规划很重要😊
    潮客_wz8xym · 2023-06-23 23:03 · 浙江杭州回复
    游玩不容易
    潮客飞哥88 · 2023-06-23 22:58 · 浙江杭州回复
    热门景区都是人挤人!
    潮客_2sufie · 2023-06-23 22:57 · 浙江绍兴回复
    希望少点儿套路。
    一直前行 · 2023-06-23 22:06 · 浙江湖州回复
    受了教训了
    潮客_w4qxbi · 2023-06-23 21:38 · 浙江杭州回复
    就是欺骗手段
    一条不安分的鱼 · 2023-06-23 14:15 · 浙江杭州回复
    购票须知一定要看仔细。
    潮客_wd7j2f · 2023-06-23 14:10 · 浙江杭州回复
    购买前必须看清规定。
    小强在线 · 2023-06-23 13:48 · 浙江绍兴回复
    是的,提前规划
    潮客_wi3igo · 2023-06-23 13:10 · 浙江台州回复
    有事找潮新闻记者帮
    潮客_d6q4hg · 2023-06-23 12:57 · 浙江杭州回复
    贵宾票有点贵啊,买不起,还是老老实实排队吧。
    点击查看更多评论