--- title: Atlas 300I Duo 推理卡大模型多卡并行推理报错-官方技术文章-昇腾社区 description: 以 Qwen2-72B 为例， Atlas 300I Duo 推理卡单设备显存通常为 45GB。为了在单机多卡环境下运行此类大模型，通常尝试通过代码实现模型拆分或多卡并行计算。而在实际部署过程中，发现直接复用适用于训练卡的多卡并行代码时，在 Atlas 300I Duo 推理卡上会出现任务报错退出、sdma 错误甚至掉卡现象。 keywords: Atlas,Duo,推理卡大模型,多卡并行推理,报错,官方技术文章,昇腾社区,背景概述 url: https://www.hiascend.com/developer/techArticles/20260724-3 section: (其他) --- # Atlas 300I Duo 推理卡大模型多卡并行推理报错-官方技术文章-昇腾社区 URL: https://www.hiascend.com/developer/techArticles/20260724-3 描述: 以 Qwen2-72B 为例， Atlas 300I Duo 推理卡单设备显存通常为 45GB。为了在单机多卡环境下运行此类大模型，通常尝试通过代码实现模型拆分或多卡并行计算。而在实际部署过程中，发现直接复用适用于训练卡的多卡并行代码时，在 Atlas 300I Duo 推理卡上会出现任务报错退出、sdma 错误甚至掉卡现象。 关键词: Atlas,Duo,推理卡大模型,多卡并行推理,报错,官方技术文章,昇腾社区,背景概述 官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles) Atlas 300I Duo 推理卡大模型多卡并行推理报错 Atlas 300I Duo 推理卡大模型多卡并行推理报错 模型推理技术文章 发表于: 2026/07/24 31 0 ## 背景概述 以 Qwen2-72B 为例， Atlas 300I Duo 推理卡单设备显存通常为 45GB。为了在单机多卡环境下运行此类大模型，通常尝试通过代码实现模型拆分或多卡并行计算。而在实际部署过程中，发现直接复用适用于训练卡的多卡并行代码时，在 Atlas 300I Duo 推理卡上会出现任务报错退出、sdma 错误甚至掉卡现象。 ## 问题现象 在使用 PyTorch 或 vLLM 框架运行 Qwen2-72B 等大模型时，若代码中包含跨设备的数据拷贝操作，推理任务会异常终止。具体表现如下： ● 报错特征：日志中首先出现`sdma error`，随后伴随作业失败。 ● 对比差异：相同的模型代码和模型权重在支持跨卡拷贝的训练卡上运行正常，但在 Atlas 300I Duo 推理卡上失败。 ## 原因分析 1、 检查plog发现首报错为sdmaerror，并且未发现其他报错； 2、 检查节点带内日志，发现报错时间点device日志内\message\dev-os-0\messages.0上报了P2P跨卡拷贝（从device1到device4）的记录，并随即报出了sdma的报错； 3、查PTA官网文档 [了解详情](https://www.hiascend.com/document/detail/zh/Pytorch/600/apiref/apilist/ptaoplist_000707.html)可确认当前推理卡不支持跨卡拷贝； 4、发现当前跑的模型体积较大一个device无法放下，希望尝试拆分模型多卡计算，当前300I duo推理卡无法支持，需要改用支持跨卡拷贝的其他产品或者改用单device可以放下的模型，或者考虑使用mindie推理框架（mindie有针对推理卡多卡并行推理的实现）。 ## 问题根因 300I duo卡不支持跨device的拷贝，模型代码调用了跨卡拷贝动作导致报错。 ## 解决措施 更换支持跨卡拷贝的产品或者更换单device可执行的模型，或者考虑使用mindie推理框架（mindie有针对推理卡多卡并行推理的实现）。 边框设置 无框线 边距 宽度 1磅 颜色 自由布局设置 整体布局 子模块 评论 修订记录 对正文进行的文本增删、样式修改都将标记为修订 自定义多级列表 列表设置 - 1 - 2 - 3 - 4 - 5 - 6 - 7 - 8 - 9 - 1. - a. - i. - 1. - a. - i. - 1. - a. - i. 前缀 无 序号 1 2 3 ... 后缀 . 编号格式 列表显示 继承层级 不继承 位置 对齐方式 默认 单元格边距 边距 默认 左边距 cm 右边距 cm 上边距 cm 下边距 cm 点赞 0 本页内容 背景概述 [了解详情](https://www.hiascend.com/#5YZbrjLN27BLUluK7ElOWw) 问题现象 [了解详情](https://www.hiascend.com/#6TsetROvUpEeQ2U1GgyIh5) 原因分析 [了解详情](https://www.hiascend.com/#4RldxCuMT1oMrdEe0xS5cO) 问题根因 [了解详情](https://www.hiascend.com/#7PJSvZ7iJKwoijqe24s3Nd) 解决措施 [了解详情](https://www.hiascend.com/#6SbVK6ZgjwwLcLn5EI179A)