华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
我在香橙派ai pro上对deekseek 1.5b这个蒸馏模型的推理做了下性能分析,环境20t 24G的310b1,cann 8.0.RC3 alpha002,发现transdata算子占用了大部分的时间,以下是算子的性能分析结果:
这个TransData算子占用了大部分的时间,有没有什么办法优化;我模型里面没有直接调用到这个算子,根据算子手册说明这个算子通常也是自动插入的:
那它一般是在哪些情况下会自动插入呢?有没有办法减少这个算子的调用次数对总体性能进行优化呢?
我要发帖子
我在香橙派ai pro上对deekseek 1.5b这个蒸馏模型的推理做了下性能分析,环境20t 24G的310b1,cann 8.0.RC3 alpha002,发现transdata算子占用了大部分的时间,以下是算子的性能分析结果:
这个TransData算子占用了大部分的时间,有没有什么办法优化;我模型里面没有直接调用到这个算子,根据算子手册说明这个算子通常也是自动插入的:
那它一般是在哪些情况下会自动插入呢?有没有办法减少这个算子的调用次数对总体性能进行优化呢?