---
title: Baichuan2-13B-pyTorch-模型库-ModelZoo-Atlas Community
description: Baichuan 2 是[百川智能]推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练，在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。Baichuan 2系列模型有 7B、13B 的 Base 和 Chat 版本，并提供了 Chat 版本的 4bits 量化，所有版本不仅对学术研究完全开放，开发者也仅需[邮件申请]并获得官方商用许可后，即可
keywords: Baichuan,Torch,模型库,ModelZoo,Atlas,Community,准备训练环境,准备环境
url: https://www.hiascend.com/software/modelzoo/models/detail/f68b63621d7046798a52ce7fde28f58e
section: (其他)
---

# Baichuan2-13B-pyTorch-模型库-ModelZoo-Atlas Community

URL: https://www.hiascend.com/software/modelzoo/models/detail/f68b63621d7046798a52ce7fde28f58e
描述: Baichuan 2 是[百川智能]推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练，在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。Baichuan 2系列模型有 7B、13B 的 Base 和 Chat 版本，并提供了 Chat 版本的 4bits 量化，所有版本不仅对学术研究完全开放，开发者也仅需[邮件申请]并获得官方商用许可后，即可
关键词: Baichuan,Torch,模型库,ModelZoo,Atlas,Community,准备训练环境,准备环境

ModelZoo主页

主页 [了解详情](https://www.hiascend.com/software/modelzoo)大模型 [了解详情](https://www.hiascend.com/software/modelzoo/big-models)模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models)工具库 [了解详情](https://www.hiascend.com/software/modelzoo/tools)权重库 [了解详情](https://www.hiascend.com/software/modelzoo/datasets)ModelShow [了解详情](https://www.hiascend.com/software/modelzoo/modelshow)DeepSeek专区HOT [了解详情](https://www.hiascend.com/developer/deepseek)文档中心论坛交流

主页 [了解详情](https://www.hiascend.com/software/modelzoo)大模型 [了解详情](https://www.hiascend.com/software/modelzoo/big-models)模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models)工具库 [了解详情](https://www.hiascend.com/software/modelzoo/tools)权重库 [了解详情](https://www.hiascend.com/software/modelzoo/datasets)ModelShow [了解详情](https://www.hiascend.com/software/modelzoo/modelshow)DeepSeek专区HOT [了解详情](https://www.hiascend.com/developer/deepseek)文档中心论坛交流

模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models)

Baichuan2-13B-pyTorch

## Baichuan2-13B-pyTorch

LLMPyTorch训推一体730次浏览2026/01/19更新

No rating yet

Rate This Document

获取源码

Baichuan2-13B-pyTorch

查看模型源码

...

# 准备训练环境

## 准备环境

默认配置需要每张卡有60G以上空闲内存。

- 当前模型支持的 PyTorch 版本和已知三方库依赖如下表所示。

表 1版本支持表

| 软件名称 | 版本 | 链接 |
| --- | --- | ---|
| CANN | 8.0.RC3 | LINK |
| HDK | 24.1.RC3 | LINK |
| FrameworkPTAdapter | 6.0.rc3-pytorch2.1.0 | LINK |

## 准备模型权重

1. 获取语言识别模型和预训练权重

用户从链接 [了解详情](https://huggingface.co/baichuan-inc/Baichuan2-13B-Base)获取模型文件和8份权重文件（pytorch_model-0000*-of-00008.bin），并放于model目录下，微调依赖该模型权重。
model参考目录如下

```
├── model
     ├── .gitattributes
     ├── Baichuan2 模型社区许可协议.pdf
     ├── Community License for Baichuan2 Model.pdf
     ├── README.md
     ├── config.json
     ├── configuration_baichuan.py
     ├── generation_utils.py
     ├── modeling_baichuan.py
     ├── pytorch_model-00001-of-00003.bin (LFS)
     ├── pytorch_model-00002-of-00003.bin (LFS)
     ├── pytorch_model-00003-of-00003.bin (LFS)
     ├── pytorch_model.bin.index.json
     ├── quantizer.py
     ├── special_tokens_map.json
     ├── tokenization_baichuan.py
     ├── tokenizer.model (LFS)
     └── tokenizer_config.json
```

# 开始训练

## 通过MindSpeed-LLM执行高性能大模型训练

开发者可访问MindSpeed代码仓了解模型详细执行流程：

```
MindSpeed-LLM 环境配置指南详见：
https://gitee.com/ascend/MindSpeed-LLM/blob/master/docs/features/install_guide.md

Baichuan2模型预训练数据预处理可以参考：
https://gitee.com/ascend/MindSpeed-LLM/blob/master/docs/features/pretrain_dataset.md

Baichuan2模型权重分布式转换可以参考：
https://gitee.com/ascend/MindSpeed-LLM/blob/master/docs/features/checkpoint.md

Baichuan2模型预训练执行脚本：
https://gitee.com/ascend/MindSpeed-LLM/blob/master/examples/mcore/baichuan2/pretrain_baichuan2_13b_ptd.sh
```

| 版本 | 更新时间 | 精度 | 处理器 | CANN版本 | 操作 |
| --- | --- | --- | --- | --- | ---|

暂无数据

使用模型资源和服务前，请您仔细阅读并理解透彻《昇腾深度学习模型许可协议 3.0》 [了解详情](https://www.hiascend.com/legal/modelzoo_models_license)