使用MindIE T61版本进行Qwen2-7b精度测试,BoolQ数据集精度测试结果不到40%。
MindIE版本:
Ascend-mindie : MindIE 1.0.T61.B010
mindie-rt: 1.0.T61.B010
mindie-torch: 1.0.T61.B010
mindie-service: 1.0.T61.B010
mindie-llm: 1.0.T61.B010
Platform : x86_64
CANN版本:
package_name=Ascend-cann-toolkit
version=8.0.T37
innerversion=V100R001C19B029
compatible_version=[V100R001C15,V100R001C18],[V100R001C30],[V100R001C13],[V100R003C11],[V100R001C29],[V100R001C10]
arch=x86_64
os=linux
path=/usr/local/Ascend/ascend-toolkit/8.0.T37/x86_64-linux
精度测试命令:
bash run.sh pa_fp16 full_BoolQ 1 qwen /data/Qwen2-7B/ 8
测试结果:

使用MindIE T61版本进行Qwen2-7b精度测试,BoolQ数据集精度测试结果不到40%。
MindIE版本:
Ascend-mindie : MindIE 1.0.T61.B010
mindie-rt: 1.0.T61.B010
mindie-torch: 1.0.T61.B010
mindie-service: 1.0.T61.B010
mindie-llm: 1.0.T61.B010
Platform : x86_64
CANN版本:
package_name=Ascend-cann-toolkit
version=8.0.T37
innerversion=V100R001C19B029
compatible_version=[V100R001C15,V100R001C18],[V100R001C30],[V100R001C13],[V100R003C11],[V100R001C29],[V100R001C10]
arch=x86_64
os=linux
path=/usr/local/Ascend/ascend-toolkit/8.0.T37/x86_64-linux
精度测试命令:
bash run.sh pa_fp16 full_BoolQ 1 qwen /data/Qwen2-7B/ 8
测试结果: