请教MindIE2.0RC2运行Qwen32-14B模型的参数
收藏回复举报
请教MindIE2.0RC2运行Qwen32-14B模型的参数
t('forum.solved') 已解决
新人帖
发表于2025-07-11 11:21:46
0 查看

4张300I PRO NPU,可运行DeepSeek-R1 14B模型。想尝试运行Qwen32-14B模型。

权重目录config.json中仅修改"torch_dtype": "float16",

mindIE的conf/config.json中仅修改Qwen3权重文件路径。

运行时报错如下:

/root/mindie/log/debug/mindie-llm_159723_20250711111740842.log:5:[2025-07-11 11:17:45.476] [159723] [281473379196896] [llm] [ERROR] [model_deploy_config.cpp:102] Failed to get vocab size from tokenizer wrapper with exception: NotImplementedError: unsupported model type: qwen3;请确认atb_llm.models路径下是否存在名为qwen3的文件夹。

请问将如何修改?

我要发帖子