昇腾310做语音推理如何实现支持动态batch大小和动态形状输入
收藏回复举报
昇腾310做语音推理如何实现支持动态batch大小和动态形状输入
t('forum.solved') 已解决
发表于2024-12-11 17:46:19
0 查看

硬件昇腾310,使用onnxruntime做语音推理的时候,每次输入的batch大小和输入的语音长度可以动态改变吗,应该如何设置才能支持动态batch和动态shape。客户在测试的时候在GPU上,可以动态支持,但是使用昇腾设备的时候,改变输入的形状就会报错,改变batch大小也不行,请问应该如何解决,我们的设备是不是启动后输入形状就固定了,不能再改变?

报错信息:

2024-12-11 02:28:41.637114628 [E:onnxruntime:, cann_call.cc:137 CannCall] CANNGRAPH failure 50331649: GRAPH_PARAM_INVALID ; NPU=0 ; hostname=4457bea11f0d ; expr=ge::aclgrphBuildModel(graph, options, model);

2024-12-11 02:28:41.638221976 [E:onnxruntime:, sequential_executor.cc:494 ExecuteKernel] Non-zero status code returned while running main_graph_13550960087029574735_1 node. Name:'CANNExecutionProvider_main_graph_13550960087029574735_1_1' Status Message: CANN Graph error executing ge::aclgrphBuildModel(graph, options, model)

terminate called after throwing an instance of 'Ort::Exception'

what(): Non-zero status code returned while running main_graph_13550960087029574735_1 node. Name:'CANNExecutionProvider_main_graph_13550960087029574735_1_1' Status Message: CANN Graph error executing ge::aclgrphBuildModel(graph, options, model)

我要发帖子