5050亿参数!华为开源盘古新模型,openPangu-2.0-Pro权重及技术报告上线
摘要:从技术报告看,openPangu-2.0-Pro并非面向消费级设备部署的轻量模型,而是一款面向长上下文、智能体任务和昇腾算力环境优化的大规模MoE模型。
产联社编辑 王知微
华为盘古大模型进一步开放。7月31日,华为正式开源盘古openPangu-2.0-Pro模型,模型权重、基础推理代码及技术报告同步上线。
openPangu-2.0-Pro是华为6月12日在华为开发者大会2026上发布的openPangu-2.0系列成员。此后,相关组件分批上线:6月30日,Flash模型正式开源;7月31日,Pro模型权重、基础推理代码和技术报告进一步开放。
从技术报告看,openPangu-2.0-Pro并非面向消费级设备部署的轻量模型,而是一款面向长上下文、智能体任务和昇腾算力环境优化的大规模MoE模型。
5050亿参数,支持512K上下文
从华为披露的技术报告看,5050亿参数只是此次升级的一部分。openPangu-2.0-Pro的主要技术变化涵盖模型规模与预训练、长上下文架构、智能体后训练以及基于昇腾的推理优化四个方面。
一是采用高稀疏MoE架构,并使用约34万亿Token进行预训练。
openPangu-2.0-Pro总参数约5050亿,每个Token激活约180亿参数,设置384个路由专家,每个Token激活8个路由专家及1个共享专家,原生支持512K上下文窗口。
预训练分为三个阶段:25万亿Token用于通用能力训练,8万亿Token侧重推理与代码能力,另有1.4万亿Token用于退火训练和智能体能力优化,训练上下文由4K逐步扩展至512K。训练矩阵类参数时,模型采用Muon优化器。华为技术报告称,该优化器可以在相同数据预算下加快收敛,其优化器状态内存约为AdamW的一半。
二是采用DSA与SWA分层混合架构,重点降低长上下文推理成本。
openPangu-2.0以多头潜在注意力MLA为基础,按照“DSA—SWA—SWA”的方式组合稀疏注意力与滑动窗口注意力,DSA与SWA的层数比例为1∶2。其中,SWA层使用512 Token窗口处理局部信息,DSA层负责从长上下文中检索相关的全局信息。
按照华为技术报告的维度估算,与全注意力架构相比,这一设计将预填充阶段的主导二次计算系数降至约1/15,解码阶段的缓存扫描系数降至约7.4%。报告同时提示,上述数字针对与序列长度相关的注意力开销,并不等同于端到端加速幅度。
模型还将传统单路残差连接改为四路mHC,以缓解深层网络中的信息流趋同问题;同时设置三层多Token预测模块MTP,分别预测三个未来Token,为自投机解码提供草稿。

openPangu-2.0模型总体架构。其中,openPangu-2.0-Pro总参数约505B,即5050亿参数。图源:openPangu-2.0技术报告
三是采用三阶段后训练流程,分别强化推理、智能体和编程能力。
完成预训练后,openPangu-2.0依次进行监督微调、并行强化学习专家训练和多专家在线策略蒸馏。华为分别训练推理、通用、智能体和编程专家,再通过蒸馏将不同能力融合。
华为在内部实验中发现,基础推理能力有助于模型学习更复杂的智能体和编程行为;在智能体环境中训练,又能够加强指令遵循、长轨迹上下文处理、多步推理和任务规划能力。
四是围绕昇腾硬件进行推理优化,但部署门槛仍然较高。
在Ascend 910C环境下,openPangu-2.0-Pro在128K输入、1K输出且全局并发为1的配置下,单Token输出延迟为9.55毫秒;在128K输入、8K输出、Batch Size为24的配置下,单NPU吞吐量为每秒1326个Token。
根据技术报告,模型采用BF16精度时权重占用约1009GB,经过W8A8量化后仍约为517GB。对普通开发者而言,这并非一款可以在消费级设备上轻松运行的模型,其主要应用场景仍是昇腾算力集群和华为云MaaS服务。
从争议走向开放,盘古模型还需要验证
盘古大模型于2021年发布,此后持续强化行业应用路线。2023年,华为推出盘古大模型3.0,并将大模型能力引入HarmonyOS 4;2024年发布盘古大模型5.0;2025年6月,又开源盘古7B稠密模型和盘古Pro MoE 72B模型。
6月12日发布openPangu-2.0时,余承东曾公开反思盘古大模型的发展。
他表示,华为在世界还不知道大模型的时候就发布了盘古,后来“因为各种各样的原因,没做好,不应该”。他还透露,2025年国庆节前,公司让他负责盘古大模型业务。
余承东同时提出了盘古大模型的追赶目标:“我会带领团队一路赶超,在我余承东字典里没有第二,只有第一。从中国第一,走向将来的世界第一。” 从当前技术报告披露的信息看,这一目标仍需更多横向评测和实际应用加以验证。
从公开评测看,openPangu-2.0-Pro已经交出了一份覆盖推理、智能体和编程能力的成绩单。根据华为技术报告,其思考模式在AIME 2026上的成绩为95.4,使用Python工具后为97.9;GPQA-Diamond为87.9,BrowseComp为65.7,SWE-bench Verified为68.5,LiveCodeBench V6为85.7。
这些分数展现了模型在多类任务上的能力,但尚不足以回答其在全球大模型中处于什么位置。华为没有在报告的评测表格中列出其他厂商模型作为对照,并在报告中坦言,openPangu在复杂、真实的软件工程工作流中,与顶尖模型之间仍存在较为明显的差距,在复杂智能体及编程任务上也仍需继续提升。
余承东此前也解释过,华为只做5050亿参数模型,与算力资源约束有关。昇腾算力需要支持国内大量企业,留给华为自身的算力卡有限,而更大规模模型的训练成本也更高。因此,盘古把重点放在降低时延、提高吞吐量等方向。
openPangu-2.0-Pro此次开放模型权重、基础推理代码和技术报告,进一步将模型架构、评测成绩及昇腾推理效率置于外部验证之下。
华为将openPangu定位为“昇腾生态最佳实践参考”,希望借此推动盘古模型、昇腾算力和华为云MaaS之间的协同。
对盘古来说,能否成为“世界第一”,最终仍要由公开评测、真实应用和开发者反馈共同决定。
商务合作/报料,请联系微信号:18801065284
特别声明:产联社摘录或转载的属于第三方的信息,目的在于传递更多信息而非盈利,同时并不代表赞成其观点或证实其描述,内容仅供参考。转载信息版权归原媒体及作者所有,若有侵权,请联系我们删除。如其他媒体、网站或个人擅自转载使用,请自负版权等法律责任。



