问题

问题1

根据摩乐社区Qwen2.5-VL-32B-Instruct适配方式代码进行适配，纯模型推理提示模型类型不支持，但会给出推理结果，是不是我操作哪里有问题？

%E5%9B%BE%E7%89%87.png

问题2

启动MindIE服务也提示模型类型不支持，但服务启动成功，且对话接口测试和精度测试可正常响应，请帮忙确认是否我操作有问题

%E5%9B%BE%E7%89%87.png

问题3

Qwen2.5-VL-32B-Instruct性能和精度测试正常，Qwen2.5-VL-7B-Instruct精度无可用数据 gsm8k:2.93% , mmlu:0, modeltest方式测试失败，请问该如何处理才能获取精度数据？

benchmark

gsm8k 2.93%

%E5%9B%BE%E7%89%87.png

mmlu 0

%E5%9B%BE%E7%89%87.png

modeltest

tail -f Qwen2.5-VL-7B-Instruct.log 
INFO: current batch_size: 10
INFO: current model_name: qwen2.5_vl_7B
INFO: current weight_dir: /ai/models/qwen/Qwen2.5-VL-7B-Instruct
INFO: current model_type: pa
INFO: current data_type: fp16
INFO: current test_mode: full
INFO: current dataset: MMLU
INFO: current trust_remote_code: False
INFO: current using single node, use input chip_num 8
model test file /usr/local/Ascend/atb-models/tests/modeltest/core/qwen2.5_vl_7B_test.py is not found.

Qwen2.5-VL-32B-Instruct精度数据：

问题

问题1

问题2

问题3

benchmark

gsm8k 2.93%

mmlu 0

modeltest

gsm8k 4.74%

mmlu 82.46%

关于昇腾

新闻与活动

交流与资讯

支持与服务

开源社区