---
title: 训练服务器上做LLama13b模型推理时回复错误-昇腾社区
description: 在Atlas800 9000 A2训练服务器上，利用Mindformers套件做Llama13B的推理时，推理结果不正确；
keywords: --
url: https://www.hiascend.com/document/caselibrary/detail/case_94111
section: (其他)
---

# 训练服务器上做LLama13b模型推理时回复错误-昇腾社区

URL: https://www.hiascend.com/document/caselibrary/detail/case_94111
描述: 在Atlas800 9000 A2训练服务器上，利用Mindformers套件做Llama13B的推理时，推理结果不正确；
关键词: --

昇腾文档 [了解详情](https://www.hiascend.com/document)

故障案例 [了解详情](https://www.hiascend.com/document/caselibrary)

训练服务器上做LLama13b模型推理时回复错误

训练服务器上做LLama13b模型推理时回复错误

2024/02/21

691

问题信息

| 问题来源 | 产品大类 | 产品子类 | 关键字 |
| --- | --- | --- | ---|
| 官方 | 模型推理 | PyTorch在线推理 | -- |

#### 问题现象描述

- 硬件配置：

- Atlas800 9000 A2
- mindformers套件
- mindspore2.1
- 问题现象：

在Atlas800 9000 A2训练服务器上，利用Mindformers套件做Llama13B的推理时，推理结果不正确；

#### 原因分析

推理精度不正确。

#### 解决措施

在推理启动脚本中set_context时，设置precision_mode，具体描述参考mindspore官网链接

https://www.mindspore.cn/docs/zh-CN/r2.1/api_python/mindspore/mindspore.set_context.html?highlight=precision_mode [了解详情](https://www.mindspore.cn/docs/zh-CN/r2.1/api_python/mindspore/mindspore.set_context.html?highlight=precision_mode)。

本页内容

- 问题信息
- 问题现象描述
- 原因分析
- 解决措施