OrangePi Qwen2支持
收藏回复举报
OrangePi Qwen2支持
发表于2025-06-01 16:19:55
0 查看

我为香橙派AIPro添加了Qwen2系列模型的支持,包括deepseek蒸馏的qwen模型,demo代码路径:https://github.com/lenLRX/llm_simple, 模型可以直接从modelscope下载

性能参考(输入256token/输出256token):

prefill(ms)decode(ms/token)
1.5B461142
3B776284
7B3215881
3B-AWQ1128113
7B-AWQ2358206
14B-AWQ8181653

我要发帖子