使用torch.npu.config.allow_internal_format=False后Conv2D前后的TransData任然存在,还是使用了内部私有格式。
收藏回复举报
使用torch.npu.config.allow_internal_format=False后Conv2D前后的TransData任然存在,还是使用了内部私有格式。
t('forum.solved') 已解决
发表于2024-11-28 19:50:19
0 查看

在优化SDXL在线推理时,发现TransData耗时占比较高,且数量较多,根据优化修改-模型迁移-基于Diffusers的模型迁移-多模态模型迁移案例-案例库-模型开发-Ascend Extension for PyTorch6.0.RC3开发文档-昇腾社区文档中的优化方案:cke_1352.png

在python的入口脚本(.py文件)中添加了`torch.npu.config.allow_internal_format = False`,如下:

cke_33566.png

想使用该方案减少TransData的耗时占比。添加该行代码后,TransData的数量并无变化,且Conv2D前后仍然有TransData将数据转为了私有格式。如下图:

cke_23382.png

【PS】:

1. 需要注意的是,我使能了图优化模式,如图二中第二个红框。

2. python版本:Python 3.8.18

3. torch相关版本:

cke_57303.png

4. CANN版本:8.0.0.RC3.alpha002

请问:如何正确禁止使用私有化数据格式呢?

我要发帖子