Ascend310B1的pytorch模型推理时可以使用bf16精度吗
收藏回复举报
Ascend310B1的pytorch模型推理时可以使用bf16精度吗
t('forum.solved') 已解决
发表于2025-04-02 15:58:04
0 查看
我目前在Ascend310B1的NPU上成功实现了一个1.3B的大语言模型的推理任务,但是目前采用的是fp32的全精度,推理速度不是很理想。如果使用fp16精度的话,里面有些算子的精度损失会比较大,由于模型训练时使用的精度是bf16,所以我想要将推理过程也做到bf16的精度,请问支持吗

本帖最后由 匿名用户2025/05/08 14:46:33 编辑

我要发帖子