用 acl weight only 量化算子,发现性能上比正常调用matmul直接用float16计算要慢不少
收藏回复举报
用 acl weight only 量化算子,发现性能上比正常调用matmul直接用float16计算要慢不少
t('forum.solved') 已解决
发表于2024-08-16 16:24:43
0 查看

请教一下华为的各位老师,我们这里尝试用 acl weight only 量化算子,发现性能上比正常调用matmul直接用float16计算要慢不少,这里整理了一个脚本测试在不同规模下都做了测试,性能上量化的算子都要差很多,不知道是这个算子本身没有优化到位还是用法上的问题

我要发帖子