内存管理
MindIE-RT编译模型时,会占用一定量的NPU内存和CPU内存。用户无需管理编译期模型的内存。
CPU内存包括加载so库,常量数据。
NPU内存包括常量数据、so库中的指令和中间结果大小(运行需要的独立工作空间),其中在模型生成的时候,会对常量数据做一定量的优化,减少常量数据的大小。
父主题:
推理应用接口如何工作