使用服务化推理启动时出现:LLMInferEngine failed to init LLMInferModels
收藏回复举报
使用服务化推理启动时出现:LLMInferEngine failed to init LLMInferModels
t('forum.solved') 已解决
新人帖
发表于2025-03-17 11:03:28
0 查看

atlas 800T A2训练 服务器
环境:

使用docker方式启动服务化推理

宿主机:
系统:openeurle22.03TLS

驱动: 24.1.rc2

docker镜像:
系统:24.03TLS

cann: 8.0.t63

mindle: 2.0.T3

python版本:3.11.6

使用docker的方式启动服务化推理出现如下错误:

cke_1326.png

我要发帖子