---
title: 基于香橙派AI Studio的ChatGLM3聊天机器人-官方技术文章-昇腾社区
description: 本案例基于香橙派AI Studio 176T 48GB扩展坞，​​集成MindSpore NLP开源套件​​，部署ChatGLM3模型，构建端侧聊天机器人，实现低延迟实时对话功能。
keywords: AI,基于香橙派,Studio,ChatGLM,聊天机器人,官方技术文章,昇腾社区,引言
url: https://www.hiascend.com/developer/techArticles/20250725-1
section: (其他)
---

# 基于香橙派AI Studio的ChatGLM3聊天机器人-官方技术文章-昇腾社区

URL: https://www.hiascend.com/developer/techArticles/20250725-1
描述: 本案例基于香橙派AI Studio 176T 48GB扩展坞，​​集成MindSpore NLP开源套件​​，部署ChatGLM3模型，构建端侧聊天机器人，实现低延迟实时对话功能。
关键词: AI,基于香橙派,Studio,ChatGLM,聊天机器人,官方技术文章,昇腾社区,引言

官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles)

基于香橙派AI Studio的ChatGLM3聊天机器人

基于香橙派AI Studio的ChatGLM3聊天机器人

香橙派AI StudioMindNLP

发表于: 2025/07/25

656

7

# 1.引言

本案例基于香橙派AI Studio 176T 48GB扩展坞，集成MindSpore NLP开源套件，部署ChatGLM3模型，构建端侧聊天机器人，实现低延迟实时对话功能。本案例的实验环境请参考在线课程：《开箱实测OrangePi AI Studio》 [了解详情](https://www.hiascend.com/developer/courses/detail/1945742508413202433)

# 2.实验环境

## 硬件配置：

| 配件名称 | 描述 | 规格要求 |
| --- | --- | ---|
| 香橙派AI Studio | 提供AI算力 | - 算力：176 TOPS INT8- 内存：48GB/96GB |
| 电脑主机 | 运行系统并连接香橙派 | - x86_64架构- 16线程+ CPU - 64GB+内存- USB4/雷电4（支持PCIe隧道，40Gbps）- 系统：Ubuntu 22.04（Linux 5.15内核） |
| USB4数据线 | 连接香橙派和电脑 | - 40Gbps带宽- 雷电4兼容- 支持PCIe隧道 |
| 显示器、鼠标、键盘、HDMI连接线 | 连接电脑，提供人机交互 | - HDMI显示器- USB键鼠 |

## 系统环境：

| 名称 | 版本 |
| --- | ---|
| Ubuntu系统 | 22.04.5-desktop-amd64 |
| Ascend-cann-toolkit | 8.0.0.beta1 |
| Ascend-cann-kernels-310* | 8.0.0.beta1 |
| Ascend-mindxsdk-mxvision | 6.0.0.SPC1 |
| python3 | 3.10.12 |
| MindSpore | 2.5.0 |
| MindNLP | 0.4.1 |

请参考在线课程：《开箱实测OrangePi AI Studio》，完成上述软件环境的安装。 [了解详情](https://www.hiascend.com/developer/courses/detail/1945742508413202433)

# 3.实验步骤

## 3.1 ChatGLM3测试案例

### 步骤 1 确认MindNLP的版本

```
su root
pip show mindnlp | grep Version
```

输出：

```
Version: 0.4.1
```

### 步骤 2 配置CANN环境变量

```
source /usr/local/Ascend/ascend-toolkit/set_env.sh
```

### 步骤 3 进入样例目录

```
cd /data/mindnlp/llm/inference/chatglm3/
```

### 步骤 4 运行案例代码

首次运行会自动下载模型到当前案例的“.mindnlp”文件夹内。

```
python3 cli_demo.py
```

### 步骤 5 使用 ChatGLM3-6B 模型

成功启动后，会打印使用说明“欢迎使用 ChatGLM3-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序”。我们可以输入clear来清除之前的对话内容，我们在使用完成后，可以输入stop来退出程序。

点赞 7

本页内容

1.引言 [了解详情](https://www.hiascend.com/#id-1)

2.实验环境 [了解详情](https://www.hiascend.com/#id-2)

硬件配置： [了解详情](https://www.hiascend.com/#id-3)

系统环境： [了解详情](https://www.hiascend.com/#id-4)

3.实验步骤 [了解详情](https://www.hiascend.com/#id-5)

3.1 ChatGLM3测试案例 [了解详情](https://www.hiascend.com/#id-6)