6月30日,华为正式宣布开源盘古70亿参数的稠密模型、盘古Pro MoE 720亿参数的混合专家模型和基于昇腾的模型推理技术。

此举是华为践行昇腾生态战略的又一关键举措,推动大模型技术的研究与创新发展,加速推进人工智能在千行百业的应用与价值创造。目前,盘古Pro MoE 72B模型权重、基础推理代码,已正式上线开源平台;基于昇腾的超大规模MoE模型推理代码,已正式上线开源平台;盘古7B相关模型权重与推理代码将于近期上线开源平台。
盘古大模型(PanguLargeModels)是集数据管理、模型训练和模型部署于一体的一站式大模型开发与应用平台。平台支持大模型的定制开发,提供全生命周期工具链,帮助开发者高效构建与部署模型,企业可灵活选择适合的服务与产品,轻松实现模型与应用的开发。
在6月20日的华为开发者大会2025(HDC 2025),华为常务董事、华为云计算CEO张平安宣布基于CloudMatrix 384超节点的新一代昇腾AI云服务全面上线,为大模型应用提供澎湃算力;宣布盘古大模型5.5正式发布,自然语言处理(NLP)、计算机视觉(CV)、多模态、预测、科学计算五大基础模型全面升级。
昇腾作为华为专注于AI计算的生态战略抓手,通过持续的技术创新,推动AI技术的普及与应用。在今年的华为开发者大会上,新一代昇腾AI云服务也全面上线,目标是要打造最适合大模型应用的算力服务。
随着大模型训练和推理对算力需求的爆炸式增长,传统计算架构已难以支撑AI技术的代际跃迁。华为云新一代昇腾AI云服务基于CloudMatrix 384超节点,首创将384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink全对等互联,形成一台超级“AI服务器”,单卡推理吞吐量跃升到2300 Tokens/s,与非超节点相比提升近4倍。超节点架构能更好地支持混合多专家MoE大模型的推理,可以实现“一卡一专家”,一个超节点可以支持384个专家并行推理,极大提升效率;同时,超节点还可以支持“一卡一算子任务”,灵活分配资源,提升任务并行处理,减少等待,将算力有效使用率(MFU)提升50%以上。
对于万亿、十万亿参数的大模型训练任务,在云数据中心,还能将432个超节点级联成最高16万卡的超大集群;同时,超节点还可以支持训推算力一体部署,如“日推夜训”,训推算力可灵活分配,帮助客户资源使用最优。
华为方面介绍,当前,昇腾AI云服务已经成为AI基础设施的最优选择,为科大讯飞、新浪、硅基流动、面壁智能、中国科学院、360等超过1300家客户提供澎湃的AI算力,加速千行万业智能化升级。
采写:南都·湾财社记者 程洋