如何优化TransData算子
收藏回复举报
如何优化TransData算子
t('forum.solved') 已解决
发表于2025-03-03 09:30:24
0 查看

我在香橙派ai pro上对deekseek 1.5b这个蒸馏模型的推理做了下性能分析,环境20t 24G的310b1,cann 8.0.RC3 alpha002,发现transdata算子占用了大部分的时间,以下是算子的性能分析结果:

profile.png

这个TransData算子占用了大部分的时间,有没有什么办法优化;我模型里面没有直接调用到这个算子,根据算子手册说明这个算子通常也是自动插入的:

transdata.png

那它一般是在哪些情况下会自动插入呢?有没有办法减少这个算子的调用次数对总体性能进行优化呢?

我要发帖子