---
title: Qwen3-30B在Atlas 300I Duo上部署时显存不足问题的定位与解决-官方技术文章-昇腾社区
description: 本文聚焦于在 Atlas 300I Duo 设备上部署 Qwen3-30B-A3B-Instruct-2507 模型时遇到的进程被系统终止问题，结合实际调试过程，深入分析根因并提出可复用的优化方案，为后续类似场景提供参考。
keywords: Qwen,Atlas,Duo,上部署时显存,不足问题的定,位与解决,官方技术文章,昇腾社区
url: https://www.hiascend.com/developer/techArticles/20260601-1
section: (其他)
---

# Qwen3-30B在Atlas 300I Duo上部署时显存不足问题的定位与解决-官方技术文章-昇腾社区

URL: https://www.hiascend.com/developer/techArticles/20260601-1
描述: 本文聚焦于在 Atlas 300I Duo 设备上部署 Qwen3-30B-A3B-Instruct-2507 模型时遇到的进程被系统终止问题，结合实际调试过程，深入分析根因并提出可复用的优化方案，为后续类似场景提供参考。
关键词: Qwen,Atlas,Duo,上部署时显存,不足问题的定,位与解决,官方技术文章,昇腾社区

官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles)

Qwen3-30B在Atlas 300I Duo上部署时显存不足问题的定位与解决

Qwen3-30B在Atlas 300I Duo上部署时显存不足问题的定位与解决

模型推理Qwen3技术文章

发表于: 2026/06/01

191

2

## 背景概述

随着大语言模型在实际业务场景中的广泛应用，高效、稳定地完成模型推理成为关键挑战。在基于昇腾硬件平台（如 Atlas 300I Duo）进行大模型推理部署的过程中，模型配置参数对资源消耗的影响尤为显著。本文聚焦于在 Atlas 300I Duo 设备上部署 Qwen3-30B-A3B-Instruct-2507 模型时遇到的进程被系统终止问题，结合实际调试过程，深入分析根因并提出可复用的优化方案，为后续类似场景提供参考。

## 问题现象

在使用 Atlas 300I Duo 部署 Qwen3-30B-A3B-Instruct-2507 模型时，启动服务后进程立即被系统终止，日志中出现如下信息：

```
Process 12085 was terminated by signal 9 (Killed)
```

进一步查看`/var/log/syslog`，发现存在Out of Memory (OOM)相关记录，表明系统因内存不足主动杀死了进程。该问题在本地复现环境（CANN 8.5.0，驱动版本 25.0.rc1.1，310P3 芯片）中同样出现，且无任何调用栈输出，调试定位困难。

## 故障排查与根因分析

### 1. 初步定位：卡顿点与关键路径

通过在关键函数中添加打印日志进行调试，发现程序在执行以下函数时卡住，后续无任何输出：

```
examples.atb_models.atb_llm.models.base.flash_causal_lm.FlashForCausalLM.prepare_inputs_for_ascend
```

该函数为模型输入准备阶段的核心逻辑，卡在此处意味着显存申请或初始化过程失败。

### 2. 对比分析：同系列模型差异

为排查配置差异，尝试部署同系列的 Qwen3-30B-A3B 模型，结果可正常运行。对比两个模型的`config.json`文件，发现关键差异在于`max_position_embeddings`参数：

- Qwen3-30B-A3B-Instruct-2507：`max_position_embeddings = 262144`
- Qwen3-30B-A3B：`max_position_embeddings = 40960`

该参数定义了模型支持的最大上下文长度，直接影响推理时的显存占用。

### 3. 根因确认：RoPE 表预生成导致显存压力

在推理框架中，为提升性能，RoPE（Rotary Position Embedding）机制在模型初始化阶段会根据`max_position_embeddings`的值，预先生成完整的 Sin/Cos 位置编码表，并在每层 Transformer 中进行存储。该操作需要在显存中申请一块连续的大块内存空间。

当`max_position_embeddings`设置为 262144 时，预生成的 Sin/Cos 表体积巨大，远超 Atlas 300I Duo 的显存容量（32GB），尤其在模型权重已占满显存、存在内存碎片的情况下，`aclrtMalloc`申请失败，驱动层触发 OOM 保护机制，最终导致进程被系统强制终止。

补充说明：max_position_embeddings 仅用于定义模型可处理的最大上下文长度。若实际输入长度低于该值，模型仍可正常运行；但若超过该值，将导致位置编码缺失，影响推理逻辑。

## 解决方案

为在保证模型功能的前提下成功部署，建议对`max_position_embeddings`参数进行合理调整：

- 修改建议：将`max_position_embeddings`从 262144 降低至40960。
- 效果验证：修改后模型可成功拉起并稳定运行。
- 影响评估：
- 仅限制最大输入/输出 token 数为 40960，仍满足多数实际业务场景的上下文需求；显存占用显著降低，避免 OOM 问题。

✅ 建议：在部署高上下文长度模型时，应根据实际业务需求与硬件资源，合理设置`max_position_embeddings`，避免盲目追求最大支持长度。

## 总结与最佳实践

1. 显存管理是大模型部署的核心：模型配置参数（如`max_position_embeddings`）直接影响显存使用，需在部署前充分评估。
2. 预生成机制需权衡性能与资源：为提升推理速度而引入的预生成机制，可能带来显存瓶颈，需结合硬件能力进行取舍。
3. 配置优化优先于硬件升级：在资源受限场景下，合理调整模型配置是更高效、低成本的解决方案。

通过本次问题的排查与解决，验证了在昇腾平台部署大模型时，配置参数的精细化管理对系统稳定性具有决定性作用。后续在模型适配与部署流程中，建议增加对关键配置项的显存占用评估环节，提升部署成功率与可维护性。

点赞 2

本页内容

背景概述 [了解详情](https://www.hiascend.com/#id-1)

问题现象 [了解详情](https://www.hiascend.com/#id-2)

故障排查与根因分析 [了解详情](https://www.hiascend.com/#id-3)

解决方案 [了解详情](https://www.hiascend.com/#id-4)

总结与最佳实践 [了解详情](https://www.hiascend.com/#id-5)