性能优化思路
影响动态shape算子性能的因素及对应的解决办法:
- 当一个算子支持任意shape时,在算子内可能有过多条件判断,这也会影响算子性能。解决办法是每个算子二进制支持特定范围的shape。然后在算子运行过程中,通过具体的shape选择对应范围的算子实现。
- Tiling参数计算过程中,有较多的scalar计算,一般把这些scalar计算放在CPU侧,计算完再传入AICore运行的算子。
- 数据不同的切分方式影响算子性能。即Tiling策略不同,算子的实现方式可能不同。
父主题: 概述