模型使用在CPUExecutionProvider和CANNExecutionProvider这两个不同的provider时.推理结果不一致的问题
收藏回复举报
模型使用在CPUExecutionProvider和CANNExecutionProvider这两个不同的provider时.推理结果不一致的问题
t('forum.solved') 已解决
发表于2023-05-08 13:25:31
0 查看

一、软件版本:
-- CANN 版本 (e.g., CANN 3.0.x,5.x.x): 6.3.RC1
--paddle及paddlenlp 版本:2.4.1
--Python 版本 (e.g., Python 3.7.5):3.8.12
--操作系统版本 (e.g., Ubuntu 18.04):Ubuntu 18.04
--onnxruntime_cann版本:1.15.0

--芯片版本:Ascend310

二 、主要问题:

CPUExecutionProvider推理结果

%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20230508113644.png

CANNExecutionProvider推理结果

%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20230508113635.png

provider使用

   providers = [ 

        ("CANNExecutionProvider", 

            { 

            "device_id": 0, 

            "arena_extend_strategy": "kNextPowerOfTwo", 

            "npu_mem_limit": 2 * 1024 * 1024 * 1024, 

            #"do_copy_in_default_stream": True, 

            "op_select_impl_mode": "high_performance", 

            "optypelist_for_implmode":"Gelu", 

            "enable_cann_graph": True 

        }, 

        ), 

        "CPUExecutionProvider", 

        ] 

三、模型及测试代码:
https://www.aliyundrive.com/s/eYmhi3T7ai2
提取码:ax22

我要发帖子