一、软件版本:
-- CANN 版本 (e.g., CANN 3.0.x,5.x.x): 6.3.RC1
--paddle及paddlenlp 版本:2.4.1
--Python 版本 (e.g., Python 3.7.5):3.8.12
--操作系统版本 (e.g., Ubuntu 18.04):Ubuntu 18.04
--onnxruntime_cann版本:1.15.0
--芯片版本:Ascend310
二 、主要问题:
CPUExecutionProvider推理结果

CANNExecutionProvider推理结果

provider使用
providers = [
("CANNExecutionProvider",
{
"device_id": 0,
"arena_extend_strategy": "kNextPowerOfTwo",
"npu_mem_limit": 2 * 1024 * 1024 * 1024,
#"do_copy_in_default_stream": True,
"op_select_impl_mode": "high_performance",
"optypelist_for_implmode":"Gelu",
"enable_cann_graph": True
},
),
"CPUExecutionProvider",
]
三、模型及测试代码:
https://www.aliyundrive.com/s/eYmhi3T7ai2
提取码:ax22
一、软件版本:
-- CANN 版本 (e.g., CANN 3.0.x,5.x.x): 6.3.RC1
--paddle及paddlenlp 版本:2.4.1
--Python 版本 (e.g., Python 3.7.5):3.8.12
--操作系统版本 (e.g., Ubuntu 18.04):Ubuntu 18.04
--onnxruntime_cann版本:1.15.0
--芯片版本:Ascend310
二 、主要问题:
CPUExecutionProvider推理结果
CANNExecutionProvider推理结果
provider使用
providers = [
("CANNExecutionProvider",
{
"device_id": 0,
"arena_extend_strategy": "kNextPowerOfTwo",
"npu_mem_limit": 2 * 1024 * 1024 * 1024,
#"do_copy_in_default_stream": True,
"op_select_impl_mode": "high_performance",
"optypelist_for_implmode":"Gelu",
"enable_cann_graph": True
},
),
"CPUExecutionProvider",
]
三、模型及测试代码:
https://www.aliyundrive.com/s/eYmhi3T7ai2
提取码:ax22