mindie是否支持qwen2-1.5b-instruct模型以及是否支持w8a8量化
收藏回复举报
mindie是否支持qwen2-1.5b-instruct模型以及是否支持w8a8量化
t('forum.solved') 已解决
发表于2024-09-23 13:45:31
0 查看

1.300 I DUO卡是否支持qwen2-1.5b-instruct模型的w8a8量化操作,如若不支持则是否有别的性能优化策略。

2.官方是否有测试开源qwen模型在300 I DUO卡上的推理性能

我要发帖子