Atlas 200I DK A2部署DeepSeek-R1-Distill-Qwen-1.5B时ATC转换时报错
收藏回复举报
Atlas 200I DK A2部署DeepSeek-R1-Distill-Qwen-1.5B时ATC转换时报错
t('forum.solved') 已解决
新人帖
发表于2025-05-13 21:04:55
0 查看

项目简介:

根据https://github.com/xxxkkw/DeepSeek-Atlas-Chat开源项目部署的DeepSeek-R1-Distill-Qwen-1.5B模型

软件情况:

  • python3.9 
  • pytorch2.0 
  • onnx 1.17 
  • CANN最开始7.0RC1 后尝试8.0.0RC3
  • 与github项目推荐版本一致
  • true

问题一

起初是在烧录镜像后自带的7.0RC1上进行ATC模型转换的,报错如附录,大概是

* 错误原因:在执行 TVM 过程中,尝试注册Global PackedFunc tvm.intrin.cce.elewise_binary_phony_ex时失败,因为该函数已经被注册,导致程序报错退出。这通常是由于代码中存在重复注册的逻辑,或者相关环境配置问题导致 TVM 在初始化时出现异常。
错误影响:TVM 是 ATC 中用于优化和编译算子的关键工具,该错误会导致 ATC 无法正常进行算子的注册和初始化,进而影响整个模型的编译过程。
算子 IR 未注册错误
* 错误原因:在模型解析过程中,多个DynamicQuantV2类型的算子(如/model/model/layers.0/input_layernorm/Mul_1_output_0_QuantizeLinear等大量类似算子)的 IR(Intermediate Representation,中间表示)未注册。可能的原因有两个:一是环境变量ASCEND_OPP_PATH未正确配置,该环境变量用于指定算子相关的路径,未配置会导致 ATC 找不到算子的定义;二是算子的 IR 确实没有被正确注册到系统中。
错误影响:算子 IR 未注册会使 ATC 无法将模型中的节点正确转换为算子,导致模型解析为图失败,最终 ATC 运行失败,无法生成 OM(Offline Model)模型。

这两个问题,后面试了几次还是有DynamicQuantV2算子没有被注册的问题。


后面尝试更新CANN版本到8.0RC3后再次尝试

在使用atc进行模型转换时报图片中的错误应该怎么解决呢?(是按照DeepSeek-R1-Distill-Qwen-1.5B模型->onnx格式->量化->板端部署算子->板端atc工具转换来的) true

问AI说是维度不匹配的问题



问题2

根据开源项目【CANN训练营】Atlas 200I DK A2开发板运行ChatYuan-large对话机器人应用-云社区-华为云[https://bbs.huaweicloud.com/blogs/405188#H111]进行ATC模型转换时报错如下: true

问了一下AI,说可能是内存不够或者TBE相关问题,想请教一下具体是什么问题?怎么解决?


问题3

在昇腾官网上几乎没看到关于200I上部署LLM的案例,DeepSeek专区也是针对于300I、800I,请问想在200I上部署LLM有什么推荐或者参考?[https://https://]()

附录

true

true

我要发帖子