---
title: openPangu-Ultra-MoE-718B-V1.1今日正式开源，部署指南来啦！-官方技术文章-Atlas Community
description: 2025年10月15日，华为正式发布并开源openPangu-Ultra-MoE-718B-V1.1。该模型是基于昇腾 NPU 训练的大规模混合专家（MoE）语言模型，总参数规模达 718B，激活参数量为 39B。该模型在同一架构下融合了“快思考”与“慢思考”两种能力，实现更高效、更智能的推理与决策。
keywords: Pangu,Ultra,MoE,今日正式开源,部署指南来啦,官方技术文章,Atlas,Community
url: https://www.hiascend.com/developer/techArticles/20251015-5?envFlag=1
section: (其他)
---

# openPangu-Ultra-MoE-718B-V1.1今日正式开源，部署指南来啦！-官方技术文章-Atlas Community

URL: https://www.hiascend.com/developer/techArticles/20251015-5?envFlag=1
描述: 2025年10月15日，华为正式发布并开源openPangu-Ultra-MoE-718B-V1.1。该模型是基于昇腾 NPU 训练的大规模混合专家（MoE）语言模型，总参数规模达 718B，激活参数量为 39B。该模型在同一架构下融合了“快思考”与“慢思考”两种能力，实现更高效、更智能的推理与决策。
关键词: Pangu,Ultra,MoE,今日正式开源,部署指南来啦,官方技术文章,Atlas,Community

官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles)

openPangu-Ultra-MoE-718B-V1.1今日正式开源，部署指南来啦！

openPangu-Ultra-MoE-718B-V1.1今日正式开源，部署指南来啦！

昇腾部署

Released: 2025/10/15

2025年10月15日，华为正式发布并开源openPangu-Ultra-MoE-718B-V1.1。该模型是基于昇腾 NPU 训练的大规模混合专家（MoE）语言模型，总参数规模达 718B，激活参数量为 39B。该模型在同一架构下融合了“快思考”与“慢思考”两种能力，实现更高效、更智能的推理与决策。

openPangu-Ultra-MoE-718B-V1.1已上线GitCode社区：

模型地址：https://ai.gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1 [了解详情](https://ai.gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1)

Int8量化版本也同步开源：https://gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1-Int8 [了解详情](https://gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1-Int8)

## 快速上手openPangu-Ultra-MoE-718B-V1.1模型

## 1.环境准备

- 硬件规格

Atlas 800T A2 (64GB, >=32卡)，驱动与固件安装包获取请参照：

https://www.hiascend.com/hardware/firmware-drivers/community?product=4&model=26&cann=8.2.RC1.alpha003&driver=Ascend+HDK+25.0.RC1 [了解详情](https://www.hiascend.com/hardware/firmware-drivers/community?product=4&model=26&cann=8.2.RC1.alpha003&driver=Ascend+HDK+25.0.RC1)

- 软件环境

- 方式一：基于裸机环境安装以下配套软件

- 操作系统：Linux（推荐openEuler>=24.03）

- CANN==8.1.RC1，安装准备及流程请参照：

https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/82RC1alpha002/softwareinst/instg/instg_0001.html?Mode=PmIns&OS=Ubuntu&Software=cannToolKit [了解详情](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/82RC1alpha002/softwareinst/instg/instg_0001.html?Mode=PmIns&OS=Ubuntu&Software=cannToolKit)

- python==3.10

- torch==2.1.0

- torch-npu==2.1.0.post12

- transformers>=4.48.2

- 方式二：从 docker 镜像启动容器

参考[Docker使用指南](doc/docker.md)

以上软件配套经过验证，理论可以支持更高的版本，如有疑问，可以提交 issue。

## 2.推理权重转换

本次样例 openPangu-Ultra-MoE-718B-V1.1 推理采用 Tensor Parallel 并行策略，叠加昇腾 NPU 融合大算子，需要提前对 safetensors 权重进行切分，下述内容提供32卡并行推理的权重切分示例，切分后的权重会保存在`model/`目录下：

```
```bash
cd inference
bash split_weight.sh
```
```

## 3.推理样例

openPangu-Ultra-MoE-718B-V1.1 在 Atlas 800T A2 上4机32卡 bfloat16 推理示例，主节点选取节点 IP0：

```
```bash
cd inference
# 主节点IP0:  ${NNODES} ${NODE_RANK} ${NPROC_PER_NODE} ${MASTER_ADDR} ${PROMPT}
bash generate.sh 4 0 8 IP0 "3*7=?"
# 从节点IP1
bash generate.sh 4 1 8 IP0 "3*7=?"
# 从节点IP2
bash generate.sh 4 2 8 IP0 "3*7=?"
# 从节点IP3
bash generate.sh 4 3 8 IP0 "3*7=?"
```
```

模型默认为慢思考模式，可以通过以下手段切换至快思考模式：如`generate.py`示例中`fast_thinking_template`所示，在用户输入结尾添加` /no_think`标记可以将当前轮次切换至快思考模式。

## 4.使用推理框架

- Vllm_ascend：参考

[[vllm_ascend_for_openPangu_ultra_moe_718b](doc/vllm_ascend_for_openpangu_ultra_moe_718b.md)]

查看更多模型信息，请关注模型仓库：

https://ai.gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1 [了解详情](https://ai.gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1)

https://gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1-Int8 [了解详情](https://gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1-Int8)

This Page