领域加速库
Ascend Transformer Boost加速库
- ATB 加速库动态 Dump 功能,详细内容请参考日志与调试。
- 应用场景: 在模型推理出现整网精度不达标时,用于对复杂的计算图进行深度调试与质量回溯。
- 功能描述: 新增对动态 Dump 特性的支持。开发者可集成 msit dump 工具,在不改变业务逻辑的情况下,自动捕获 ATB 加速库组图中各个算子执行过程中的输入输出 Tensor、算子属性(Param)等关键数据。
- 解决的问题: 该功能通过将全局问题分解至单算子粒度,支持开发者直接利用 Dump 数据进行单算子独立验证,从而快速锁定导致精度偏差的故障算子,提升精度调优与问题定位的效率。
- 新增支持运行时动态调整日志级别,详细内容请参考日志与调试。
- 场景:生产环境运维与偶发故障排查。
- 功能:无需重启进程,即可实时修改加速库日志输出等级。
- 解决问题:消除因修改日志导致的业务中断,兼顾系统高性能运行与故障现场的可观测性。
- 算子优化:
- SelfAttentionOperation算子量化功能性能优化。
- PagedAttentionOperation算子量化功能性能优化。
Ascend Signal Processing Boost加速库
- 增强FFT C2C 1D/3D能力:新增对实部、虚部分离格式的信号输入支持,配套推出asdFftExecC2CSeparated专用接口,输出结果同步采用实部、虚部分离形式,无需额外数据格式转换即可完成复数信号快速变换,提升数据处理灵活性。
父主题: 新增特性