MindIE-1.0.RC3版本Qwen2-72B量化问题
收藏回复举报
MindIE-1.0.RC3版本Qwen2-72B量化问题
t('forum.solved') 已解决
发表于2024-11-18 16:01:14
0 查看

MindIE-1.0.RC3版本Qwen2-72B量化问题

软硬件版本信息

  • server1:Atlas 800T A2
  • server2:Atlas 800-3000 + 4 * 300I DUO(96G)
  • 驱动固件:24.1.rc2
  • MindIE:1.0.RC3

参考文档

量化参考MindIE镜像中atb-models/examples/models/qwen/README.md

前提条件

1 已经在MindIE社区文档中确认1.0.RC3版本DUO卡支持该模型的稀疏量化 true

2 使用DUO卡环境和800T A2环境均可正常推理非量化的Qwen2-72B,排除设备问题

问题描述

1. 300I DUO卡无法量化模型,执行量化时报DMA错误

true

2. 在800T A2上按照README中的Qwen2-72B-W8A8稀疏量化命令得到的权重为W4A8S稀疏量化,权重切分压缩时会报错不支持w4a8s

true true true

3. 修改README中的Qwen2-72B-W8A8稀疏量化命令中的--w_bit=8,生成的quant_model_description_w8a8s.json文件中量化类型为W8A8,并非W8A8S,权重切分压缩时会报错找不到w8a8s权重文件

true

问题求助

请解答上述问题产生原因及解决方式

本帖最后由 匿名用户2024/11/18 16:06:13 编辑

我要发帖子