昇腾论坛

点赞

收藏

回复

举报

mindspore算子推理时间有时过慢

已解决

发表于2024-02-27 09:56:59

0 查看

环境

卡型号：ascend 910 操作系统版本：openEuler 20.03 CANN版本：nnae6.3 Python版本：3.8 MindSpore版本：2.1.0 开头设置了mindspore.set_context(device_target='Ascend', device_id=3)

问题

在代码环境中nn.LSTM算子的推理耗时具有不确定性，对同一维度大小的输入有时需要10min，有时秒级(输入大小正常，应该为秒级)。在模型初次使用lstm时，输入为单位矩阵或0矩阵，此时速度正常，之后每个循环使用有效输入和前一个lstm输出的h和c后，推理变得很慢。

self.path_encoder = nn.LSTM(input_size=self.action_dim,
                            hidden_size=self.history_dim,
                            num_layers=self.history_num_layers,
                            batch_first=True)
pa=self.path_encoder(action_embedding, (self.path[-1][0],self.path[-1][1]))[1]

另外，在环境中首次加载nn算子的示例时需要超出预期的时间,如5min.

import mindspore
from mindspore import Tensor, nn
import numpy as np
net = nn.Conv2d(120, 240, 4, has_bias=False, weight_init='normal')
x = Tensor(np.ones([1, 120, 1024, 640]), mindspore.float32)
output = net(x).shape
print(output)

求解

这是否是环境配置的原因还是mindspore本身的原因

匿名回复

我要发帖子