4张300I PRO NPU,可运行DeepSeek-R1 14B模型。想尝试运行Qwen32-14B模型。
权重目录config.json中仅修改"torch_dtype": "float16",
mindIE的conf/config.json中仅修改Qwen3权重文件路径。
运行时报错如下:
/root/mindie/log/debug/mindie-llm_159723_20250711111740842.log:5:[2025-07-11 11:17:45.476] [159723] [281473379196896] [llm] [ERROR] [model_deploy_config.cpp:102] Failed to get vocab size from tokenizer wrapper with exception: NotImplementedError: unsupported model type: qwen3;请确认atb_llm.models路径下是否存在名为qwen3的文件夹。
请问将如何修改?
4张300I PRO NPU,可运行DeepSeek-R1 14B模型。想尝试运行Qwen32-14B模型。
权重目录config.json中仅修改"torch_dtype": "float16",
mindIE的conf/config.json中仅修改Qwen3权重文件路径。
运行时报错如下:
/root/mindie/log/debug/mindie-llm_159723_20250711111740842.log:5:[2025-07-11 11:17:45.476] [159723] [281473379196896] [llm] [ERROR] [model_deploy_config.cpp:102] Failed to get vocab size from tokenizer wrapper with exception: NotImplementedError: unsupported model type: qwen3;请确认atb_llm.models路径下是否存在名为qwen3的文件夹。
请问将如何修改?