请教:deepseek-r1量化为w8a8以后使用mindIE进行推理性能测试,性能测试脚本选项只能是fp16么,这时候跑出来的结果是int8还是fp16呢?
收藏回复举报
请教:deepseek-r1量化为w8a8以后使用mindIE进行推理性能测试,性能测试脚本选项只能是fp16么,这时候跑出来的结果是int8还是fp16呢?
t('forum.solved') 已解决
发表于2025-02-26 14:49:50
0 查看
硬件:910b双机16卡
镜像:swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.T3-800I-A2-py311-openeuler24.03-lts
我根据这里的教程https://www.hiascend.com/software/modelzoo/models/detail/68457b8a51324310aad9a0f55c3e56e3,将全量模型进行w8a8量化后进行性能测试,
性能测试时run.sh脚本的选项不支持int8,只能选择fp16,那这时候测试出的结果是fp16还是int8呢?
麻烦大佬给分析下,或者我想测试int8类型应该怎么测试呢,感谢。
cke_3541.png

我要发帖子