需要解决方案,不需要提供文档谢谢!!!(文档已经翻烂了)
在910B4 8卡上基于mindie镜像是2.0.T3(最新)测试DeepSeek-R1-Distill-Qwen-32B,使用的驱动是24.1.rc3_linux-aarch64
已将DeepSeek-R1-Distill-Qwen-32B/config.json文件中"torch_dtype"字段改为"float16"
也只修改了/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json中需要修改的IP地址,所需卡数以及模型地址部分
但是执行服务时报错

需要解决方案,不需要提供文档谢谢!!!(文档已经翻烂了)
在910B4 8卡上基于mindie镜像是2.0.T3(最新)测试DeepSeek-R1-Distill-Qwen-32B,使用的驱动是24.1.rc3_linux-aarch64
已将DeepSeek-R1-Distill-Qwen-32B/config.json文件中"torch_dtype"字段改为"float16"
也只修改了/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json中需要修改的IP地址,所需卡数以及模型地址部分
但是执行服务时报错