昇腾910ProB是否支持vllm0.4.2框架
收藏回复举报
昇腾910ProB是否支持vllm0.4.2框架
t('forum.solved') 已解决
发表于2024-12-14 22:44:19
0 查看

使用官网镜像:
swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:910a-ascend_23.0.0-cann_8.0.rc3-py_3.10-ubuntu_22.04-aarch64-mindie_1.0.t65

参考mindie官网编译安装vllm0.4.2:
true https://www.hiascend.com/document/detail/zh/mindie/10RC3/mindiellm/llmdev/mindie_llm0380.html

true

离线/在线推理报错:
truetrue

本帖最后由 匿名用户2024/12/14 22:48:53 编辑

我要发帖子