小藤套件的FP16推理有人用过吗?和int8差别大吗?
收藏回复举报
小藤套件的FP16推理有人用过吗?和int8差别大吗?
t('forum.solved') 已解决
发表于2024-01-25 16:37:18
0 查看

小藤套件的FP16推理有人用过吗?精度变化大吗?性能差别大吗?另外,导出fp16的模型是怎么操作的?

我要发帖子