大模型量化
收藏回复举报
大模型量化
t('forum.solved') 已解决
发表于2024-08-14 15:19:57
0 查看

YI-34B模型是否支持int4量化

x86、gpu的显卡上面量化的模型可以直接在npu上面跑(推理设备300 IDOU 或者800T/I A2)

我要发帖子