昇腾社区首页
中文
注册
开发者
下载

领域加速库

ATB加速库

若使用非MindIE的推理引擎直接调用ATB加速库,在需要升级或者回退CANN版本(涉及8.0.RC2及以后版本)时,请基于目标CANN版本重新编译调用程序,才能正常使用ATB加速库。

  • MLA PO算子泛化功能增强。补充滑动窗口、量化叠加Lse输出,headnum[16~128]16倍数功能支持。
  • ATB支持单算子编译调试,支持单算子kernel printf和dump tensor。
  • ATB支持通过增加IF NODE走入不同的构图,提升易用性。
  • ATB Python API功能增强,支持设置显存空间大小。
  • 新增单边通信接口支持H2H/H2D/D2H数据传输。