华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
YI-34B模型是否支持int4量化
x86、gpu的显卡上面量化的模型可以直接在npu上面跑(推理设备300 IDOU 或者800T/I A2)
我要发帖子
YI-34B模型是否支持int4量化
x86、gpu的显卡上面量化的模型可以直接在npu上面跑(推理设备300 IDOU 或者800T/I A2)