服务化推理 Qwen2-Audio-7B-Instruct 报错
收藏回复举报
服务化推理 Qwen2-Audio-7B-Instruct 报错
t('forum.solved') 已解决
新人帖
发表于2025-04-11 11:34:45
0 查看

1、版本:

驱动:24.1.RC2

mind镜像:1.0.0

显卡:300 Iduo

2、模型:Qwen2-Audio-7B-Instruct

3、已经在模型文件修改 torch_dtype: "float16"

4、报错日志:

cke_6308.png

修改了torch_dype:float16未起作用?

6、尝试用 Atlas 800 9000启动这个模型,模型初始化直接报错

我要发帖子