orangepi ai pro如果要部署自己训练的LLM模型,推荐用什么方式部署?
收藏回复举报
orangepi ai pro如果要部署自己训练的LLM模型,推荐用什么方式部署?
t('forum.solved') 已解决
发表于2026-03-02 17:17:52
0 查看
请教各位大佬,我如果训练了一个1B的LLM模型,与qwen或者deepseek等开源模型的结构不太一致,推荐用什么方式部署到开发板上?我了解到MindIE只支持已有的开源模型,转om可能有部分算子不支持。

我要发帖子