华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
请教一下华为的各位老师,我们这里尝试用 acl weight only 量化算子,发现性能上比正常调用matmul直接用float16计算要慢不少,这里整理了一个脚本测试在不同规模下都做了测试,性能上量化的算子都要差很多,不知道是这个算子本身没有优化到位还是用法上的问题
我要发帖子
请教一下华为的各位老师,我们这里尝试用 acl weight only 量化算子,发现性能上比正常调用matmul直接用float16计算要慢不少,这里整理了一个脚本测试在不同规模下都做了测试,性能上量化的算子都要差很多,不知道是这个算子本身没有优化到位还是用法上的问题