mindie:1.0.RC2-800I-A2-arm64推理Qwen2-72B结果较差是什么原因呢?
收藏回复举报
mindie:1.0.RC2-800I-A2-arm64推理Qwen2-72B结果较差是什么原因呢?
t('forum.solved') 已解决
发表于2024-10-29 15:21:28
0 查看

不管是bfloat还是float16相比于直接用huggingface的结果都要差些.

是因为mindie做了一些有损精度的优化吗? 这个要怎么去调呢

我要发帖子