---
title: 加载大模型时耗时过长-昇腾社区
description: 加载1300B大小的模型时耗时过长（约3个小时）。其中“B“代表“Billon”，即十亿。
keywords: 加载大模型;耗时过长
url: https://www.hiascend.com/document/caselibrary/detail/topic_0000002214923358
section: (其他)
---

# 加载大模型时耗时过长-昇腾社区

URL: https://www.hiascend.com/document/caselibrary/detail/topic_0000002214923358
描述: 加载1300B大小的模型时耗时过长（约3个小时）。其中“B“代表“Billon”，即十亿。
关键词: 加载大模型;耗时过长

昇腾文档 [了解详情](https://www.hiascend.com/document)

故障案例 [了解详情](https://www.hiascend.com/document/caselibrary)

加载大模型时耗时过长

加载大模型时耗时过长

2025/03/24

1.2k

问题信息

| 问题来源 | 产品大类 | 关键字 |
| --- | --- | ---|
| 官方 | 模型推理 | 加载大模型、耗时过长 |

#### 问题现象描述

加载1300B大小的模型时耗时过长（约3个小时）。其中“B“代表“Billon”，即十亿。

#### 原因分析

未使用异步加载。

#### 解决措施

通过设置环境变量OMP_NUM_THREADS进行模型加载优化，OMP_NUM_THREADS用于设置OpenMP（Open Multi-Processing）并行编程框架的线程数量，设置后加载1300B大小的模型只要10分钟左右。

```
export OMP_NUM_THREADS=1
```

此外，使用下面命令启动NPU显存碎片收集。

```
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export NPU_MEMORY_FRACTION=0.96
```

本页内容

- 问题信息
- 问题现象描述
- 原因分析
- 解决措施