华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
昇腾社区首页
昇腾论坛
0
/100
支持
消息
我的论坛主页
论坛首页
/
Ascend310B1的pytorch模型推理时可以使用bf16精度吗
点赞
0
收藏
0
回复
0
分享
举报
只看楼主
Ascend310B1的pytorch模型推理时可以使用bf16精度吗
已解决
发表于2025-04-02 15:58:04
0
查看
我目前在Ascend310B1的NPU上成功实现了一个1.3B的大语言模型的推理任务,但是目前采用的是fp32的全精度,推理速度不是很理想。如果使用fp16精度的话,里面有些算子的精度损失会比较大,由于模型训练时使用的精度是bf16,所以我想要将推理过程也做到bf16的精度,请问支持吗
本帖最后由
匿名用户
于
2025/05/08 14:46:33
编辑
匿名回复
发表
我要发帖子
我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。
查看详情